OLMo適配昇騰云

OLMo（Open Language Model）是由Allen AI（AI2，艾伦人工智能研究所）开发的一个完全开源开放的大型语言模型（LLM）框架，设计初衷是为了通过开放研究，促进学术界和研究人员共同研究语言模型的科学。OLMo框架提供了一系列的资源，包括数据、训练代码、模型权重以及评估工具，以便研究人员能够更深入地理解和改进语言模型。
OLMo仓库地址

目录

一、华为云ECS验证

1.购买华为云虚拟私有云VPC和弹性云服务器ECS

详解教程参考链接：创建华为云弹性云服务器ECS流程
已有忽略

2.环境搭建

python版本为3.9,

#環境配置
git clone https://github.com/allenai/OLMo.git
cd OLMo
pip install -e .[all]

使用ModelScope获取模型参数
通过ModelScope下载到当前文件夹下

pip install modelscope
modelscope download --model LLM-Research/OLMo-7B  --local_dir OLMo-7B

3.准备测试

修改代碼：
OLMo-7B/olmo/util.py, line 718,

def save_hf_dataset_to_disk(
    dataset: datasets.DatasetDict | datasets.Dataset,
    hf_path: str,
    name: Optional[str],
    split: str,
    datasets_dir: PathOrStr,
):

修改為：

#添加下行代碼
from tpying import Union
def save_hf_dataset_to_disk(
    #修改下行代碼
    dataset: Union[datasets.DatasetDict, datasets.Dataset],
    hf_path: str,
    name: Optional[str],
    split: str,
    datasets_dir: PathOrStr,
):

新建测试文件run.py,复制下面代码，使用python run.py准备测试

from transformers import pipeline
olmo_pipe = pipeline("text-generation", model="OLMo-7B")
print(olmo_pipe("Language modeling is"))

生成结果（略有差异）：

4.构建本地示例应用

4.1 查看弹性公网IP和设置开放端口

查看后得到用于登录Web应用界面的IP地址。这里为:http://1.94.197.211:7860/

4.2 使用gradio构建Web应用界面

pip install gradio

4.3 新建gradio_run.py，代码如下

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import gradio as gr
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained("OLMo-7B", trust_remote_code=True)  
olmo = AutoModelForCausalLM.from_pretrained(
    "OLMo-7B",
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()

def olmo_inference(text):
    inputs = tokenizer([text], return_tensors='pt', return_token_type_ids=False)
    with torch.no_grad():
        response = olmo.generate(**inputs, max_new_tokens=250, do_sample=True, top_k=50, top_p=0.95)
        return tokenizer.batch_decode(response, skip_special_tokens=True)[0]
    return "error"

# 创建 Gradio 接口
iface = gr.Interface(
    fn=olmo_inference,
    inputs="text",
    outputs="text",
    title="调用olmo模型",
    description="输入文本，模型调用進行文本補全。"
)

# 启动服务
iface.launch(server_name="0.0.0.0", server_port=7860)

nohup 运行gradio_run.py，并在浏览器转到http://1.94.197.211:7860/打开服务页面，可以输入以下文本让模型推理（注意：推理时间较长，请耐心等待）

Language modeling is

运行结果：

二、部署到昇腾NPU

昇腾环境：
芯片类型：昇腾910B3
CANN版本：CANN 7.0.1.5
驱动版本：23.0.6
操作系统：Huawei Cloud EulerOS 2.0

1.查看NPU硬件信息

npu-smi info

如果 Health 状态为 OK，说明 NPU 和 CANN 正常运行。

2.NPU环境下运行代码

代码拉取：

git clone https://github.com/allenai/OLMo.git

模型参数下载

pip install modelscope
modelscope download --model LLM-Research/OLMo-7B  --local_dir OLMo-7B

环境配置：创建python==3.10环境并激活

conda create -n py310 python=3.10
conda activate py310

进入OLMo文件路径下，

cd OLMo
pip install -e .[all]

新建run.py,

vim run.py

添加下边代码

import torch 
import torch_npu
from torch_npu.contrib import transfer_to_npu
from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("OLMo-7B")
tokenizer = AutoTokenizer.from_pretrained("OLMo-7B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# optional verifying cuda
inputs = {k: v.to('cuda') for k,v in inputs.items()}
olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=250, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

2.1 下载torch_npu插件

pip install torch_npu

运行代码：

python run.py

结果展示：

npu現存占用如下：