1 背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

2 需求分析

2.1  开源项目基本情况

VLLM是一个开源的高性能大语言模型推理库，旨在实现大规模语言模型的快速推理。截至到2024年11月25日，VLLM项目的GitHub star 数量超过 30.7k，项目代码最新提交时间为2024年11月24日。

源码地址：https://github.com/vllm-project/vllm

官网主页：https://github.com/vllm-project

主要开发语言：python

LICENSE：Apache License 2.0

维护者：Woosuk Kwon

项目数据：Fork 4.7k，Star 30.7K，Contributor 706，最近一次提交：2024-11-24

star历史（https://star-history.com/）：

2.2  任务目的和范围

本任务旨在将 VLLM 项目适配至华为的 Ascend和 Kunpeng处理器以及Euler操作系统，确保其能够在这些平台上有效运行，有助于推动AI计算基础设施的发展。

• 能力要求

     完成该任务需要掌握python语言，具备昇腾模型迁移适配能力，掌握昇腾硬件上开发环境的搭建流程、模型迁移方法（自动迁移、工具迁移）等。

• 适配任务清单

3 工作量评估

4 任务分解

4.1  完成鲲鹏处理器、Euler系统、昇腾NPU适配功能开发

在GitCode完成项目Fork，鲲鹏处理器、Euler系统、昇腾NPU适配需要的脚本和代码开发，以确保项目能够充分利用这些硬件平台的优势，实现高效稳定的运行。

4.2  完成DEMO设计

流程图参考如下：

4.3  完成 VLLM演示 Demo 的设计、开发和部署

- 模型选择：用户通过github/huggingface获取VLLM需要的模型。
- 模型推理：用户根据场景输入符合要求的文本数据，VLLM模型根据输入的数据预测一个最终的结果展现给用户。
- 适配与优化：确保VLLM模型在Ascend、Kunpeng处理器及 openEuler 系统上稳定高效运行处理器上稳定高效运行。

- 提供详细的部署文档，列出步骤，便于用户在Ascend、Kunpeng和openEuler环境中复现Demo。

4.4  完成适配心得输出

撰写一篇详细的适配心得，内容包括 VLLM项目在 Ascend 和 Kunpeng 处理器上的适配过程、面临的技术挑战、解决方案。心得文档将发布于华为云开发者论坛博客。

内容包括不限于如下内容：

l 开源for Huawei的背景

l 开源软件的功能介绍

l 开发适配过程及碰到和解决的问题

l DEMO设计、开发、部署过程

博客打上如下标签：

l 开源（必选）

l 开发者（必选）

l 鲲鹏（可选）

l 昇腾（可选）

l Euler（可选）

5 验收材料

6 参考资料

1.VLLM Github仓库: https://github.com/vllm-project/vllm

2.华为 Ascend 开发者社区: https://developer.huawei.com/ascend

3.华为 Kunpeng 开发者社区: https://developer.huawei.com/kunpeng

4.openEuler 官方网站: https://www.openeuler.org