作者小头像 Lv.1
15 成长值

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
  • 活跃之星
成长雷达
0
15
0
0
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

他的回复:
非常感谢,帮忙解决CANN的安装问题,用echo y | ./Ascend-cann-toolkit_8.2.RC1_linux-aarch64.run  --install 是可以安装好了CANN环境了,但是在具体应用时会出现问题,如果可能得话帮忙看看,按照这个文档安装vlllm    https://vllm-ascend.readthedocs.io/en/v0.9.1-dev/installation.html,# 一、下载conda py3.10,CANN TOOLS工具包,vllm和vllm_ascend,大模型文件等软件包#下载conda软件,可以写成一个下载脚本downlaod.sh ,功能就是下载需要文件conda deactivatewget https://repo.anaconda.com/miniconda/Miniconda3-py310_25.5.1-1-Linux-aarch64.shchmod +x Miniconda3-py310_25.5.1-1-Linux-aarch64.sh#下载3个CANN TOOLS工具包# 使用Modelarts 需要修改代理export no_proxy=127.0.0.1,localhost,172.16.*,obs.cn-southwest-2.myhuaweicloud.com,iam.cn-southwest-2.huaweicloud.com,pip.modelarts.private.comwget --header="Referer: https://www.hiascend.com/" https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-toolkit_8.2.RC1_linux-"$(uname -i)".runwget --header="Referer: https://www.hiascend.com/" https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-kernels-910b_8.2.RC1_linux-"$(uname -i)".runwget --header="Referer: https://www.hiascend.com/" https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/CANN%208.2.RC1/Ascend-cann-nnal_8.2.RC1_linux-"$(uname -i)".runchmod +x *.run#下载大模型文件Qwen/Qwen3-0.6Bpip install --no-cache-dir  openai modelscope  -i https://mirrors.huaweicloud.com/repository/pypi/simplemodelscope  download --model Qwen/Qwen3-0.6B# 二、下载并且安装cann相关文件 (因为有环境变量的设置,整个过程二,都是用这一个终端)# 使用Modelarts 需要就是取消默认的环境conda deactivate#安装conda软件,并且创建环境,激活为实现vllm推理的环境./Miniconda3-py310_25.5.1-1-Linux-aarch64.sh/home/ma-user/miniconda3/bin/conda  initsource  /home/ma-user/.bashrcconda  create --name py310_vllm_from_modelarts  python=3.10conda activate py310_vllm_from_modelarts#先卸载torch-npu torchaudio  torchvision再安装对应的版本pip uninstall torch-npu torchaudio  torchvisionpip install --no-cache-dir attrs 'numpy2.0.0' decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py wheel typing_extensions   torch==2.5.1 torchaudio==2.5.1  torchvision==0.20.1   -i https://mirrors.huaweicloud.com/repos