huggingface下载模型的方法
【摘要】 下载方式一```# 查看服务器操作系统,根据操作系统选择git-lfs下载方式uname -a# 下载 git-lfs ubuntu版sudo apt-get install git-lfs# 下载 git-lfs centos版sudo yum install git-lfs# 初始化git-lfsgit lfs install# 下载预训练权重git clone https://hugg...
下载方式一
```
# 查看服务器操作系统,根据操作系统选择git-lfs下载方式
uname -a
# 下载 git-lfs ubuntu版
sudo apt-get install git-lfs
# 下载 git-lfs centos版
sudo yum install git-lfs
# 初始化git-lfs
git lfs install
# 下载预训练权重
git clone https://huggingface.co/Tele-AI/Telechat-7B
```
下载方式二
```
from transformers import AutoModel, AutoTokenizer
import os, sys
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 以bert-base-uncased为例,你可以根据需要更换为其他模型
model_name = "Tele-AI/telechat-7B"
save_dir = model_name
# 下载并缓存模型和分词器(tokenizer)
model = AutoModel.from_pretrained(model_name, cache_dir=save_dir)
tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir=save_dir)
```
下载方式三
```
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from huggingface_hub import snapshot_download
snapshot_download(repo_id="Tele-AI/telechat-7B",
local_dir_use_symlinks = False,
local_dir = "./Tele-AI/telechat-7B")
```
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
热门文章
评论(0)