【MindSpore第六期两日集训营】踩坑实录

举报
小豆子呀 发表于 2021/11/14 12:58:07 2021/11/14
【摘要】 写在最前面:本markdown仅针对第六期训练营中出现的坑来做填坑处理,避免新人跟我之前一样被劝退了无数次而心态爆炸。详细做题过程移步论坛张小白处。 2020-11-10继专家判定之前北京四的服务器可能被我折腾坏了之后,重新开了一个新加坡的服务器从头做人。切到新加坡服务器之后,git报错如下:解决方法不是网上能搜到的,很简单,直接重装git即可解决。 Transformer-moe第一个作业...

写在最前面:

本markdown仅针对第六期训练营中出现的坑来做填坑处理,避免新人跟我之前一样被劝退了无数次而心态爆炸。详细做题过程移步论坛张小白处。

2020-11-10

继专家判定之前北京四的服务器可能被我折腾坏了之后,重新开了一个新加坡的服务器从头做人。

切到新加坡服务器之后,git报错如下:
1636537820080.png
解决方法不是网上能搜到的,很简单,直接重装git即可解决。

Transformer-moe第一个作业

2021-11-11
1636604019350.png
装cmake的时候说找不到openssl,但是我实际上加了路径进环境变量

解决方法:sudo apt-get install libssl-dev

之后正常安装cmake就不报错了。

cmake最好不要装最新的,装18.x版本的就行,我装的18.1,群里的大佬有装18.3的,然后解答说小版本差异不太大,所以看个人喜好了。

根据我的经验,装了cmake18.x版本之后,./build.sh -t on不在报错,能成功编译。
1636611170803.png
还有报错:
1636611304058.png

1636617160873.png

根据大佬提示说可能是openmpi没有装,链接比较难找我扔下面了:

https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.3.tar.gz

因为hccl是跟这个通信的?不懂

下载好之后解压:

tar -zxvf openmpi-4.0.3.tar.gz

进入目录

cd openmpi-4.0.3

./configure --prefix=$HOME/opt/openMpi

make all

sudo make install

配置环境变量

vim ~/.bashrc

export PATH=$PATH:/root/opt/openMpi/bin

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/opt/openMpi/lib

(以上路径是我自己的安装路径,根据自己不同的自己改,不会的问我也行,不要钱)

装完了之后看下版本:

mpiexec --version

mpirun --version

1636618956514.png

然而貌似还是不行,但是以上安装openMpi的方法是正确的,有需要的可以自取。

后来经过他人指点,原来是由于PYTHONPATH没有添加的原因导致。执行如下命令后,成功。

export PYTHONPATH=/root/mindspore/tests/ut/python

(后面的路径根据自己不同情况进行更改,不会的同样可以私聊我)

至此,这个卡了两天一夜的问题彻底解决。

晒个图纪念下
1636633400158.png

Transformer-moe第二个作业

基本没碰到什么困难,直接把盘古的backbone移植过来的,盘古的backbone源代码链接:https://gitee.com/mindspore/models/blob/master/official/nlp/pangu_alpha/src/pangu_alpha.py

位置:
1636865046279.png

Mindspore Lite作业

作业一

首先安装adb工具(过程略)

然后(本人mate 40 pro)打开开发者模式,打开USB调试,打开PTP,连接wifi,并查看本机的IP地址
1636646483378.png

执行命令:adb connect 192.168.10.137:5555

提示无法连接

将USB线连接在手机和电脑上,执行命令:adb tcpip 5555
1636646533907.png

断开手机与电脑的连接,再次执行adb connect 192.168.10.137:5555
1636646558636.png

成功连接。

模型转换的时候碰到报错:
1636676617482.png

进入自己的mindspore_camp文件夹后,重新export环境变量,跑完了
1636676653278.png

连接手机提示未授权,网上有些不靠谱的方法坑死人
1636677265240.png

经本人测试方法有效:

1、打开开发人员模式

2、打开USB调试

3、选择USB配置为MTP

4、重新连接即可获得权限。
1636677203842.png

2021-11-12

adb push报错:
1636678133760.png

1636678658278.png

好吧要root权限。。。。(后来经过老师纠正之后明白不需要root,网上又是瞎说的)

push文件报错,找了下原来是要输入电脑路径和手机路径,-s只是指定多个设备用的,一个设备直接adb push就可以了。

1636716748202.png

运行benchmark的时候,报错说c++依赖不存在,但是我也没在原先的文件中找到这个依赖
1636722690841.png
1636722690841.png

报libmslite_converter_plugin.so不存在的话,加环境变量,最好从绝对路径开始加起(即最底层目录开始)

export LD_LIBRARY_PATH=/home/xiaodouzi/mindspore_camp/mindspore-lite-1.5.0-linux-x64/tools/converter/lib:$LD_LIBRARY_PATH(仅供参考 根据实际情况更改,不懂的随时问)
1636731354192.png

继续运行又发现libc++_shared.so这个库不存在,于是从网上下了扔进去

(附网盘链接,有需要的可以自行下载 链接:https://pan.baidu.com/s/13b66eA609YzvRKUZEw19vg
提取码:gem7 --来自百度网盘超级会员V4的分享)
1636729091009.png

继续执行照样报错,那就加环境变量,注意是把整个tmp文件夹加进去而不是只加这一个库,加了这个库也不行,我也不知道为什么,必须整个文件夹

1636729130163.png

如图所示,执行成功。

作业2

转换固定比特权重量化报错:
1636732324163.png

原因:要写绝对路径
1636732353093.png

建议:最好使用find / -name XXXXXX来查找,这样找出来的就是绝对路径下的。

(提示:本地WSL与Windows互传文件,执行explorer.exe .即可打开图形窗口)
另:家里路由器后台看不到手机ip地址的,可以手机开启热点电脑连接,然后找到手机网关地址,同样adb connect可以连接上。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。