昇腾云DevServer快速部署DeepSeek-R1/V3模型

约束与限制

• 已完成昇腾云裸金属（ModelArts DevServer）机器下单
• 机器规格：2台D910B 313T（可联系技术SA支撑）
• 机器操作系统镜像：HCE2.0-Arm-64bit-for-Snt9A2-BareMetal-with-24.1.0.6-7.5.0.5.220-CANN8.0.1-v2
• 确保机器22端口安全组已开通
  

开通安全组

1.登录裸金属服务器控制台，单击服务器名称。

2.在详情页面选择安全组，单击配置规则-->入方向规则-->添加规则-->优先级1、端口协议22、源地址指的是匹配外部请求的源地址。即可通过远程工具连接昇腾云裸金属服务器。

部署模型

1.两台昇腾云裸金属服务器任选其中一台服务器作为主节点，环境变量参数解释，主副节点变量值填写一致

• 在主节点服务器中执行如下命令：

export ray_head_ip=根据变量解释填写
export model_name=根据变量解释填写
wget -P /home/ https://documentation-samples.obs.cn-north-4.myhuaweicloud.com/solution-as-code-publicbucket/solution-as-code-moudle/one-click-deployment-ascend/userdata/deepseek-r1.sh
chmod 755 /home/deepseek-r1.sh && sh  /home/deepseek-r1.sh  head ${ray_head_ip} ${model_name}

• 在副节点服务器中执行如下命令：

export ray_head_ip=根据变量解释填写
export model_name=根据变量解释填写
wget -P /home/ https://documentation-samples.obs.cn-north-4.myhuaweicloud.com/solution-as-code-publicbucket/solution-as-code-moudle/one-click-deployment-ascend/userdata/deepseek-r1.sh
chmod 755 /home/deepseek-r1.sh && sh  /home/deepseek-r1.sh  worker ${ray_head_ip} ${model_name}

2.当显示如下回显信息，表示模型部署成功。预计时间15分钟

3.参考本文档中的开通安全组章节，开放主节点机器的8080端口。

4.调用

调用DeepSeek-V3

curl -ik -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"请讲一个笑话"}],"model":"${container_model_path}","temperature":0,"max_tokens":128}' -X POST http://${ip}:8080/v1/chat/completions

调用DeepSeek-R1

curl -ik -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"请讲一个笑话"}],"model":"${container_model_path}","temperature":0,"max_tokens":128}' -X POST http://${ip}:8080/v1/chat/completions

• ip：为实际主节点的弹性公网IP地址。
• container_model_path：DeepSeek-V3-w8a8-vllm-0324、DeepSeek-R1-w8a8-vllm