Qwen2适配Ascend NPU开源验证任务

1. 背景介绍

开源for Huawei（参考：https://developer.huaweicloud.com/programs/opensource/contributing/）  通过和公司、高校、社区的开发者合作，完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发，帮助繁荣Huawei的基础生态，同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前，开发者可以下载 开源for Huawei Wiki（参考：https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview） 了解详细的开发步骤，技术准备，以及开发过程需要的各种资源。

2需求分析

2.1 项目影响力

Qwen2 是一个专注于大规模语言模型开发和应用的开源项目，旨在为自然语言处理（NLP）领域提供创新的工具和预训练模型。项目的核心目标是通过优化语言模型架构和训练流程，提升模型性能，特别是在对话生成、语言理解和人机交互领域。Qwen2 项目的代码托管在 GitHub 上，主要使用 Python 进行开发，涉及深度学习和 NLP 等多个领域，LICENSE：Apache Licence 2.0。

截至 2024 年 9 月11日，Qwen 2项目在 GitHub 上的 star 数量已超过 7.4k，fork 数量超过 400，项目的贡献者数目为 25名。最近一次代码提交时间为 2024 年 9 月 1 日。以下是 Qwen 项目的 star 历史图：

2.2 任务目的和范围

本任务的主要目的是将 Qwen2 项目适配至华为的 Ascend（昇腾）和 Kunpeng（鲲鹏）处理器，确保其在这些硬件平台上的高效运行，扩展 Qwen2 模型的适用场景。这将有助于提升华为在大规模语言模型领域的竞争力，并增强 Ascend 和 Kunpeng 处理器的市场影响力。

l 能力要求：完成该任务需要具备 C++、Python 开发能力，了解 NPU 硬件架构及指令集，掌握并行计算和性能调优知识，熟悉 Ascend 和 Kunpeng 处理器的编译器架构。

2.3 适配任务清单

3. 工作量评估

4. 任务分解

4.1DEMO 流程图参考如下：

4.2 完成 Qwen 2演示 Demo 的设计、开发和部署

Demo 流程图参考如下：
- 模型选择：用户通过 Gradio 接口选择预训练好的 Qwen2 模型。
- 模型推理：用户输入对话或文本，Qwen2 模型根据输入生成对话结果并在界面展示。
- 适配与优化：确保 Qwen2 模型在 Ascend、Kunpeng 处理器及 openEuler 系统上稳定高效运行。

- 提供详细的部署文档，列出步骤，便于用户在Ascend、Kunpeng和openEuler环境中复现Demo。

4.3 完成适配心得输出

撰写一篇详细的适配心得，内容包括 Qwen2 项目在 Ascend 和 Kunpeng 处理器上的适配过程、面临的技术挑战、解决方案以及性能优化技巧。心得文档将发布于华为云官方博客或其他技术平台。

4.4在华为云开发者论坛输出博客

访问华为云开发者论坛（参考：https://bbs.huaweicloud.com/blogs）发表博客，介绍完成这些任务的过程和心得。

内容包括不限于如下内容：

l 开源for Huawei的背景

l 开源软件的功能介绍

l 开发适配过程及碰到和解决的问题

l DEMO设计、开发、部署过程

l 代码推送开源社区及互动过程

博客打上如下标签：

l 开源（必选）

l 开发者（必选）

l GaussDB数据库（可选）

l 云数据库 GaussDB（可选）

l 鲲鹏（可选）

l 昇腾（可选）

l 鸿蒙（可选）

l 对象存储 OBS（可选）

5 验收材料

6. 参考资料

1. GitHub - Qwen: https://github.com/QwenLM/Qwen2