大模型部署手记（5）ChatGLM2+Jetson AGX Orin
【摘要】 大模型部署手记（5）ChatGLM2+Jetson AGX Orin
1.简介：
组织机构：智谱/清华
模型：THUDM/chatglm2-6b
硬件环境：Jetson AGX Orin
2.代码和模型下载
cd /home1/zhanghui
下载代码仓：
git clone https://github.com/THUDM/ChatGLM2-6B
git clone https://huggingface.co/THUDM/chatglm2-6b
貌似是要安装git-lfs
sudo apt-get install git-lfs
重来：
git clone https://huggingface.co/THUDM/chatglm2-6b
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b
看来huggingface.co是怎么都连不上了。
从镜像下载模型的方法如下：
cd /home1/zhanghui/aliendao
python3 model_download.py --mirror --repo_id THUDM/chatglm2-6b
实验表明镜像站下载大的模型文件大概率还是会会出现下载卡住的情形。
还是使用huggingface官网下载到本地的方式吧！
下载完毕后，可将下载好的文件移动到 /home1/zhanghui/ChatGLM2-6B/THUDM/chatglm2-6b 目录下（gitattributes文件可以改名为 .gitattributes)
3.安装依赖
做一个pytorch 2.0，python 3.8的conda环境。
conda create -n torch2.0 python=3.8
conda activate torch2.0
cd /home1/zhanghui
这个是jetson设备，需要安装专门的whl包。
打开https://forums.developer.nvidia.com/t/pytorch-for-jetson-version-1-10-now-available/72048
下载pytorch jetson专用安装包：
cd ..
下载pytorch 2.1版本：
wget https://developer.download.nvidia.cn/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
下载pytorch 2.0版本：
wget https://nvidia.box.com/shared/static/i8pukc49h3lhak4kkn67tg9j4goqm0m7.whl
mv i8pukc49h3lhak4kkn67tg9j4goqm0m7.whl torch-2.0.0+nv23.05-cp38-cp38-linux_aarch64.whl
安装pytorch 2.1的版本试试：
pip3 install ./torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
cd ChatGLM2-6B
安装依赖包：
修改requirements.txt文件，注释掉torch
pip3 install -r requirements.txt
4.部署验证
启动基于 Gradio 的网页版 demo
python web_demo.py
浏览器打开 http://192.168.199.181:7860/
在Jetson Orin的桌面上打开试试：
好像可以的。
提个问题试试：
查看GPU运行情况：
换个问题：
（全文完，谢谢阅读）
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）