Qwen2.5适配昇腾开源验证任务 根据任务计划书了解任务内容，主要目的是在昇腾npu上将qwen2.5项目完成一个大模型的推理验证，确保其在昇腾上能够正常进行对话。

开发过程

明确目的后开始熟悉项目，

第一步：镜像拉取

docker pull swr.cn-east-317.qdrgznjszx.com/donggang/llama-factory-ascend910b:cann8-py310-torch2.2.0-ubuntu18.04

第二步：镜像启动,创建一个docker_run.sh文件，将下面代码copy到文件中，保存并执行即可启动镜像。

`#!/bin/bash

docker_images=swr.cn-east-317.qdrgznjszx.com/donggang/llama-factory-ascend910b:cann8-py310-torch2.2.0-ubuntu18.04 model_dir=/root/xxx

docker run -it -u root --ipc=host --net=host --device=/dev/davinci0 --device=/dev/davinci1 --device=/dev/davinci2 --device=/dev/davinci3 --device=/dev/davinci4 --device=/dev/davinci5 --device=/dev/davinci6 --device=/dev/davinci7 --device=/dev/davinci_manager --device=/dev/devmm_svm --device=/dev/hisi_hdc -v /usr/local/Ascend/driver:/usr/local/Ascend/driver -v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons/ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi -v <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mrow><mi>m</mi><mi>o</mi><mi>d</mi><mi>e</mi><msub><mi>l</mi><mi>d</mi></msub><mi>i</mi><mi>r</mi></mrow><mo>:</mo></mrow><annotation encoding="application/x-tex">{model_dir}:</annotation></semantics></math>modeld​ir:{model_dir} -v /var/log/npu:/usr/slog ${docker_images} /bin/bash `

第三步：github上拉取llama-factory仓库，并下载相关依赖。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git 
cd LLaMA-Factory 
pip install -e ".[torch,metrics]"

model_name_or_path: /path/to/qwen2.5
template: qwen
infer_backend: huggingface  # choices: [huggingface, vllm]

modelscope download --model Qwen/Qwen2.5-7B-Instruct

llamafactory-cli chat qwen25.yaml