迟来的LLama2分享
应华为云国际站邀请,在ModelArts notebook中部署一个llama2。在这里也是非常简单的事情,毕竟开源大环境加持,过去不等于未来。开源可期!
一、虚拟环境搭建。
因ModelArts原生容器没有这一套,在扫地僧的指引下,我们上虚拟机(反正华为云算力管够)。将对应库版本搞准是第一步。
Python:3.10.6
conda create -n llama2 python=3.10.6
conda activate llama2
conda install pytorch torchvision torchaudio pytorch-cuda -c pytorch -c nvidia
创建虚拟环境,激活虚拟环境,一次性把包拉到位,其余系统自动pip。
有条件的,建议注册使用国际站服务器,搭建过程中的速度会十分顺滑且不需要科学上网。!!!
经过漫长等待,装完基础环境了。接下来我们git 代码。
二、代码和运行库的组装。
git clone https://github.com/karpathy/llama2.c.git
进入目录
cd llama2.c
安装运营库
pip install -r requirements.txt
下载预训练模型 。
wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin
三、运行测试
make run
./run stories42M.bin
输出了:
我们在原有提示词下进一步微调如下:
./run stories42M.bin -t 0.8 -n 256 -i "One day, Lily met a Shoggoth"
是不是十分顺滑:)
四、总结。
本文旨在拉通体验llama2,让更多人能运用ModelArts摆脱本地这样不行那样不行的问题,将大预言模型跑起来!更多精彩研究请自行访问李飞飞高徒GitHub:https://github.com/karpathy/llama2.c
欢迎大家一起体验大模型带来的乐趣!
大家也可以自行下载训练中文哦https://mp.weixin.qq.com/s/Cpx0zVwJZQasxLW9tYSxbw(微信打开)
最后技术都是你追我赶的,有更好的趣味性大语言模型欢迎一起交流一起飞!
- 点赞
- 收藏
- 关注作者
评论(0)