关于华为云国际站Llama2Chat中文国际互联版的部署

大家好，我是来自建行常德人民西路支行的公司客户经理袁覃（华为云MVP，一名AI爱好者，全球首个防疫口罩佩戴检测AI联合发布者，劳动者港湾垃圾分类AI 模型作者）。

不久前在华为云国际站部署了Llama2故事版和英文Chat版，受华为云国际站邀请继续拉通部署大语言模型Llama2Chat中文版。很高兴在此和大家一起分享ModelAtts+Llama2Chat中文。

为什么要选择华为云国际站？答案很简单，快速、高效、全球化、遥遥领先！不用科学上网即可享受全球高速网络开发环境和服务体验。

话不多说，撸起袖子加紧干。上国际站云环境搭建。

登录华为云国际站注册认证后，进入控制中台，选择ModelArts。在子菜单中打开开发环境notebook。创建容器和基础环境。

同时打开命令行，方便我们开始创建运行环境。

以下是极简部署5步曲：

1.https://github.com/LinkSoul-AI/Chinese-Llama-2-7bcd

2.安装依赖包 / Installation of dependency packages（这套环境花费了99%时间穷举法试出来的，且行且珍惜）

conda create -n llama2 python=3.10 torch==2.0.1 accelerate==0.21.0 bitsandbytes==0.40.2 gradio==3.37.0 protobuf==3.20.3 scipy==1.11.1 sentencepiece==0.1.99 transformers==4.31.0

激活环境

conda activate llama2

3.拉取代码 / Pull the code

rm -rf Chinese-Llama-2-7b

git clone https://github.com/LinkSoul-AI/Chinese-Llama-2-7b.git

sed -i 's/launch(server_name="0.0.0.0")/launch(server_name="0.0.0.0", share=True, debug=True, inbrowser=True)/' ./Chinese-Llama-2-7b/example/basic-chat/app.py

sed -i 's/local_files_only=True/local_files_only=False/' ./Chinese-Llama-2-7b/example/basic-chat/model.py

4.下载模型并运行 (耗时) / Download the model and run it (time-consuming)

cd Chinese-Llama-2-7b/example/basic-chat && python app.py

国内知名厂商大模型已经开始设限制。上述发言论文尝试用国内的会被封号24小时

想要丝滑还得自己部署。

服务部署完毕后映射出外网网址可在互联网访问部署模型服务https://2d985d3e6553f59c86.gradio.live/

至此，整个部署就完毕了。看多么丝滑。文末实战发布了国有大行金融支持高标准农田建设研究的论文发言稿。实战胜于一切！

本文旨在拉通体验llama2Chat中文系列模型，让更多人能运用ModelArts学习和研究AI，将大语言模型跑起来！更多精彩研究请自行访问https://github.com/LinkSoul-AI/Chinese-Llama-2-7b .(可自行训练、量化各种版本的Llama2中文版本)

欢迎更多的人来体验ModelArts带来的福利，再次祝各位中文大语言模型用餐愉快！