摘要
Hugging Face或modelscope上下载模型或数据集的几种方法
一、Hugging Face
先安装和登录
conda activateenvpipinstall-Uhuggingface_hub hf auth login下载数据集
mkdir-p/home/data1/datasets/your_dataset hf download 数据集ID\--repo-type dataset\--local-dir /home/data1/datasets/your_dataset举例
mkdir-p/home/datasets/ultrachat_200k hf download HuggingFaceH4/ultrachat_200k\--repo-type dataset\--local-dir /home/datasets/ultrachat_200k只下载某些文件：
hf download 数据集ID\--repo-type dataset\--include"*.json"\--local-dir /home/data1/datasets/your_dataset二、ModelScope
如果要先登录
modelscope login 或 modelscope login--token你的魔塔token方法一：CLI下载
conda activateenvpipinstall-Umodelscopemkdir-p目标文件夹 modelscope download\--dataset要下载的模型或数据集\--local_dir目标文件夹方法二：Python SDK 下载
如果 CLI 只下到元文件，或者大文件没完整下来，可以用 SDK：
conda activateenvpipinstall-U"modelscope[datasets]"然后执行：
python -<<'PY' from modelscope.hub.snapshot_download import snapshot_download snapshot_download( repo_id='要下载的模型或数据集', repo_type='dataset', local_dir='目标文件夹' ) PY
