迟来的LLama2分享

应华为云国际站邀请，在ModelArts notebook中部署一个llama2。在这里也是非常简单的事情，毕竟开源大环境加持，过去不等于未来。开源可期！

一、虚拟环境搭建。

因ModelArts原生容器没有这一套，在扫地僧的指引下，我们上虚拟机（反正华为云算力管够）。将对应库版本搞准是第一步。

Python：3.10.6

conda create -n llama2 python=3.10.6

conda activate llama2

conda install pytorch torchvision torchaudio pytorch-cuda -c pytorch -c nvidia

创建虚拟环境，激活虚拟环境，一次性把包拉到位，其余系统自动pip。

有条件的，建议注册使用国际站服务器，搭建过程中的速度会十分顺滑且不需要科学上网。！！！

经过漫长等待，装完基础环境了。接下来我们git 代码。

二、代码和运行库的组装。

git clone https://github.com/karpathy/llama2.c.git

进入目录

cd llama2.c

安装运营库

pip install -r requirements.txt

下载预训练模型 。

wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin

三、运行测试

make run
./run stories42M.bin

输出了：

我们在原有提示词下进一步微调如下：

./run stories42M.bin -t 0.8 -n 256 -i "One day, Lily met a Shoggoth"

是不是十分顺滑：）

四、总结。

        本文旨在拉通体验llama2，让更多人能运用ModelArts摆脱本地这样不行那样不行的问题，将大预言模型跑起来！更多精彩研究请自行访问李飞飞高徒GitHub：https://github.com/karpathy/llama2.c

欢迎大家一起体验大模型带来的乐趣！

大家也可以自行下载训练中文哦https://mp.weixin.qq.com/s/Cpx0zVwJZQasxLW9tYSxbw（微信打开）

最后技术都是你追我赶的，有更好的趣味性大语言模型欢迎一起交流一起飞！