huggingface下载模型的方法

举报
yd_219940761 发表于 2024/03/09 22:29:18 2024/03/09
【摘要】 下载方式一```# 查看服务器操作系统,根据操作系统选择git-lfs下载方式uname -a# 下载 git-lfs ubuntu版sudo apt-get install git-lfs# 下载 git-lfs centos版sudo yum install git-lfs# 初始化git-lfsgit lfs install# 下载预训练权重git clone https://hugg...

下载方式一

```
# 查看服务器操作系统,根据操作系统选择git-lfs下载方式
uname -a
# 下载 git-lfs ubuntu版
sudo apt-get install git-lfs
# 下载 git-lfs centos版
sudo yum install git-lfs
# 初始化git-lfs
git lfs install
# 下载预训练权重
git clone https://huggingface.co/Tele-AI/Telechat-7B
```


下载方式二

```
from transformers import AutoModel, AutoTokenizer
import os, sys

os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 以bert-base-uncased为例,你可以根据需要更换为其他模型
model_name = "Tele-AI/telechat-7B"

save_dir = model_name

# 下载并缓存模型和分词器(tokenizer)
model = AutoModel.from_pretrained(model_name, cache_dir=save_dir)
tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir=save_dir)

```


下载方式三

```
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

from huggingface_hub import snapshot_download

snapshot_download(repo_id="Tele-AI/telechat-7B", 
local_dir_use_symlinks = False,
local_dir = "./Tele-AI/telechat-7B")

```

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。