众所周知,HuggingFace 是最大的大模型社区,而 LLM 参数文件又常常几个 GB,因此在国内下载通常会面临小水管问题。以下介绍几个高速下载 HuggingFace 模型的技巧。

使用 hf-mirror.com 镜像

hf-mirror.com 是 huggingface 的镜像网站,可以去该网站搜索模型进行下载。如果是下载单个模型文件而非整个库,可以从网页上复制链接地址,在需要下载的地方使用 wget -c 下载即可。实践证明,hf-mirror 的速度非常快。

Tip

wget -c 可以开启断点续传,对于这种大型文件,还是带着这个参数比较好。

使用 Git-lfs 直接 Clone 整个模型库

LFS 是 Large File Storage 的缩写,用于帮助 git 管理大文件。不同于 git 每次保存 diff,对于 git 来说,如果是模型或者一些设计大文件,改变一点,对于仓库来说会增加很大的体积,不一会就能几个 G。对于 git lfs 来说,在使用 git lfs track 命令后,git push 的时候,git lfs 会截取要管理的大文件,并将其传至 git lfs 的服务器中,从而减小仓库的体积。

工具安装:

1
2
sudo apt install git-lfs
git lfs install

安装成功后,就可以使用 git clone 命令来下载整个模块库所有文件。例如:

1
git clone https://huggingface.co/bert-base-uncased