Fastchat适配昇腾开源验证任务心得
【摘要】 根据任务计划书（https://bbs.huaweicloud.com/blogs/442044）了解任务内容，主要目的是在昇腾npu上在fastchat项目完成一个大模型的推理验证，确保其在昇腾上能够正常进行对话。开发过程明确目的后开始熟悉框架，Fastchat的github网址：https://github.com/lm-sys/FastChat，把Fastchat项目从github上用...
Fastchat适配昇腾开源验证任务 根据任务计划书（https://bbs.huaweicloud.com/blogs/442044）了解任务内容，主要目的是在昇腾npu上在fastchat项目完成一个大模型的推理验证，确保其在昇腾上能够正常进行对话。
开发过程
明确目的后开始熟悉框架，Fastchat的github网址：https://github.com/lm-sys/FastChat，把Fastchat项目从github上用git clone命令拉取下来。
NPU验证
（1）安装依赖包
NPU上需要CANN、torch_npu、pytorch
先安装CANN，参考：
https://www.hiascend.com/zh/developer/download/community/result?module=cann。
torch_npu的安装参考：https://github.com/Ascend/pytorch/blob/master/README.zh.md。
python版本需要3.10的，另外还需要下载项目依赖：pip3 install -e ".[model_worker,webui]"
1 资源清单
|
产品名称 |
NPU架构 |
CPU架构 |
操作系统 |
|
云堡垒机 |
Ascend 910B3 |
鲲鹏计算 Kunpeng-920 |
Huawei Cloud EulerOS 2.0 (aarch64) |
2 验证截图
2.1验证思路
首先将FastChat项目从github上拉取下来，配置npu环境并根据需要下载相关依赖，其次从modelscope上下载模型放置model目录下，最后执行命令python3 -m fastchat.server.cli --model -path XXXX --device npu，进行对话推理验证。
2.2 NPU上推理验证结果
运行代码：
进行推理：
如下模型能根据问题给出正确的答案，并进行中英文混合交流
NPU运行前：
NPU运行后：
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）