Mistral-7B-v0.3适配昇腾开源验证任务心得

首先看了一下任务计划书：https://bbs.huaweicloud.com/blogs/440092，主要目的是将 Mistral-7b-v0.3 项目适配至华为的 Ascend（昇腾）和 Kunpeng（鲲鹏）处理器，确保其在这些硬件平台上的高效运行，也就是说验证Mistral-7b-v0.3能不能在 Ascend（昇腾）上运行。

开发过程

1、下载模型

明确目的后开始熟悉模型，Mistral-7b-v0.3的github网址：https://github.com/mistralai/mistral-inference。为了方便后续使用，我把代码库中的代码文件fork到了我自己的代码仓库，代码仓库的README文件有模型的下载链接，也可以去常用的模型仓库网站寻找模型然后下载，比如huggingface和魔塔社区。

我是在魔塔社区下载的模型。先使用：

pip install modelscope

 安装modelscope，然后使用：

modelscope download --model LLM-Research/Mistral-7B-Instruct-v0.3 --local_dir ./dir

把模型下载到当前文件夹。

2、编写推理代码在NPU推理模型

官方并没有直接提供mistral-7b-v0.3的推理代码，需要自己编写，可以参考：https://gitcode.com/huyanbo/mistral-7b-v0.3/overview  ，

3、安装依赖包

创建python虚拟环境并且安装numpy库（注：numpy版本建议安装1.23左右的，不要安装2.0及以上的，会有兼容问题。）

使用NPU推理模型需要安装pytorch、CANN和torch_npu，

先安装CANN，参考：https://www.hiascend.com/zh/developer/download/community/result?module=cann。

安装pytorch的cpu版本：https://pytorch.org/  pip安装代码：pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

torch_npu的安装参考：https://github.com/Ascend/pytorch/blob/master/README.zh.md。

其他的代码依赖包可以运行pip install -r requirement.txt，把我的代码库里requirement.txt文件中写出的依赖包安装到你的环境之中。其他安装包在运行时按照提示安装即可。

1       验收材料

验证DEMO地址：https://gitcode.com/huyanbo/mistral-7b-v0.3/overview

2       资源清单

3       测试结果

Npu推理

运行程序前

运行程序后

我编辑npu时指定了npu编号为4，可以看到npu：4已经在运行了。

推理结果

此模型是对话模型，我输入问题并提交给模型后，模型正确反馈了答案