关于华为云国际站Llama2Chat的部署

大家好，我是来自建行常德人民西路支行的公司客户经理袁覃（华为云MVP，一名AI爱好者，全球首个防疫口罩佩戴检测AI联合发布者，劳动者港湾垃圾分类AI 模型作者）。

不久前在华为云国际站部署了Llama2故事版，受华为云国际站邀请继续拉通部署大语言模型Llama2Chat版。很高兴在此和大家一起分享ModelAtts+Llama2Chat。

为什么要选择华为云国际站？答案很简单，快速、高效、全球化、遥遥领先！不用上网即可享受全球高速网络开发环境和服务体验。

话不多说，撸起袖子加紧干。上国际站云环境搭建。

登录华为云国际站注册认证后，进入控制中台，选择ModelArts。在子菜单中打开开发环境notebook。创建容器和基础环境。

同时打开命令行，方便我们开始创建运行环境。

以下是极简部署5步曲：

1. Install andClone this repository and navigate to LLaVA folder.

git clone https://github.com/haotian-liu/LLaVA.git

cd LLaVA

2.Install Package（这套环境花费了99%时间穷举法试出来的，且行且珍惜）

conda create -n llava python=3.10 torch==2.0.1 accelerate==0.23.0 transformers==4.33.2 bitsandbytes==0.41.1

conda activate llava

pip install --upgrade pip  # enable PEP 660 support

pip install -e .

3.Install additional packages for training cases.

pip install ninja

pip install flash-attn --no-build-isolation

4.Upgrade to latest code base.

git pull

pip uninstall transformers

pip install -e .

5.CLI Inference.

Chat about images using LLaVA without the need of Gradio interface. It also supports multiple GPUs, 4-bit and 8-bit quantized inference. With 4-bit quantization, for our LLaVA-1.5-7B, it uses less than 8GB VRAM on a single GPU.

python -m llava.serve.cli \

 --model-path liuhaotian/llava-v1.5-7b \

 --image-file "https://llava-vl.github.io/static/images/view.jpg" \

     --load-4bit

至此，整个部署就完毕了。看多么丝滑。文末提出了Can you help me introduce Huawei?看看模型眼中的华为!

本文旨在拉通体验llama2Chat系列模型，让更多人能运用ModelArts学习和研究AI，将大语言模型跑起来！更多精彩研究请自行访问https://github.com/haotian-liu/LLaVA .(可自行训练、量化各种版本的Llama2)

欢迎更多的人来体验ModelArts带来的福利，预祝各位大语言模型用餐愉快！