8卡H20部署deepseek 4.1 flash教程
【摘要】 完整启动命令将以下内容保存为 serve_v41_flash.sh，按需修改模型路径后执行：bash#!/bin/bashset -e# ========== 模型路径（按实际修改） ==========MODEL_PATH="deepseek-ai/DeepSeek-V4.1-Flash-1017"# ========== H20 关键环境变量 ==========# 在 H20 上禁用 ...
完整启动命令
将以下内容保存为 serve_v41_flash.sh，按需修改模型路径后执行：
bash
#!/bin/bash set -e # ========== 模型路径（按实际修改） ========== MODEL_PATH="deepseek-ai/DeepSeek-V4.1-Flash-1017" # ========== H20 关键环境变量 ========== # 在 H20 上禁用 DeepGEMM 的 MoE 路径，社区实测性能更优或更稳定 export VLLM_USE_DEEP_GEMM=0 # 加载 475 GiB 权重需要时间，放宽引擎就绪超时 export VLLM_ENGINE_READY_TIMEOUT_S=3600 # 可选：启用 Rust 前端，高并发下吞吐和延迟可能更优 # 如果遇到兼容性问题，注释掉下一行回退到 Python 前端 export VLLM_USE_RUST_FRONTEND=1 # ========== 启动 vLLM ========== vllm serve "$MODEL_PATH" \ --tensor-parallel-size 8 \ --gpu-memory-utilization 0.88 \ --max-model-len 524288 \ --max-num-seqs 8 \ --kv-cache-dtype fp8 \ --tokenizer-mode deepseek_v41 \ --attention-config '{"backend":"FLASHINFER_MLA_SPARSE_DSV41","indexer_kv_dtype":"mxfp4","indexer_sparse_logits":true}' \ --engram-config '{"cpu_offload": true}' \ --tool-call-parser deepseek_v41 \ --enable-auto-tool-choice \ --reasoning-parser deepseek_v41 \ --host 0.0.0.0 \ --port 8000 \ --served-model-name deepseek-v4.1-flash
执行：
bash
chmod +x serve_v41_flash.sh ./serve_v41_flash.sh
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）