大模型部署手记（4）MOSS+Jetson AGX Orin
【摘要】 大模型部署手记（4）MOSS+Jetson AGX Orin
1.简介
组织机构：复旦大学
模型：fnlp/moss-moon-003-sft-int4
硬件环境：Jetson AGX Orin
根据：
所以显然只能选择int4量化了。
2.代码和模型下载
登录Orin：
cd /home1/zhanghui
git clone https://github.com/OpenLMLab/MOSS.git
量化int4的模型地址：https://huggingface.co/fnlp/moss-moon-003-sft-int4
打开链接下载：
下载完毕后，将其移动到 /home1/zhanghui/MOSS/fnlp/moss-moon-003-sft-int4 目录下：
3.安装依赖
conda create --name moss python=3.8
conda activate moss
cd MOSS
修改requirements.txt：
cd ..
pip install ./torch-1.13.0a0+d0d6b1f2.nv22.10-cp38-cp38-linux_aarch64.whl
cd MOSS
pip install -r requirements.txt
没装成功，注释掉 triton，再来：
源码安装triton
cd /home1/zhanghui
git clone https://github.com/openai/triton
cd triton
pip install ninja cmake wheel
pip install -e python
4.部署验证
运行命令行DEMO：
cd /home1/zhanghui
cd MOSS
python moss_cli_demo.py
程序死机了。（桌面不能动了，但是终端还可以操作）
系统不间断弹出以下画面：
pip install jittor
pip install cupy-cuda11x -f http://pip.cupy.dev/aarch64
python moss_cli_demo.py --model_name fnlp/moss-moon-003-sft-int4 --gpu GPU
好像MOSS回答问题不像《流浪地球2》那么快，但是GPU却烧得厉害：
第二个问题等了几分钟都没动静。
MOSS，你到底能做什么呢？
等了好久，它终于回答了：
然而，后面一个问题，它又在耐心思考了。。。
MOSS，你是他吗？
又等了好久。。。
再来：
又等了好久：
所以MOSS它还是有能力的，只是现在有可能只是550W。
（全文完，谢谢阅读）
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）