建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
092947bevjlmiytnwwd8ky.jpg 【乘风破浪赋能学习季】零基础开发网络AI模型,限时免费使用算力!
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

never_stop_train

发帖: 0粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年08月01日 19:08:54 169 2
直达本楼层的链接
楼主
显示全部楼层
[大赛专区] 关于NAIE一点点的路径说明

再写一点其他的,关于路径的理解

因为用云服务器比较多,所以我觉得

/cache 路径像是一个云硬盘

/home/ma-user 路径是一个低性能的云处理器 不会动态改变

/home/work 路径是提交训练时,系统分配给你的高性能云处理器

我觉得这样理解的话,再配置文件路径什么的就舒服多了。

还是推荐用linux内核的电脑或云服务器来跑训练,迁移起来方便

——————————————————————————

因为我要用预加载模型,所以需要导入模型,牵扯到数据集和路径问题,搞了七八个小时,现在后脑勺还疼……

添加10MB 以上的模型都需要先以数据集的形式本地上传

image.png

image.png

然后就是和导入测试数据什么一样的了


最令人头大,也是耗费我时间最久的地方来了!!

跑jupyter和跑py的路径不一样!!

jupyter 的环境路径(以mxnet的模型默认路径为例) ‘/home/ma-user/.mxnet/.....'

训练py程序预测路径‘/home/work/.mxnet/.....’

惊不惊喜意不意外……


data_model = get_data_reference(dataset="DatasetService", dataset_entity='xxx') 

mox.file.copy(data_model.get_files_paths()[0], '/cache/xxx.pth')

当你兴高采烈的在py程序中把model从数据集转到/cache ,再想着拷贝到框架默认路径时如

shutil.move('/cache/model','/home/work/.mxnet/models/model')

你会发现,不存在后面的路径

具体为啥咱也不知道,咱也不敢问

所以老老实实的,造一个

os.makedirs(fpath)  

这样有时候还不行

还要先

os.chdir(‘/home/work’)

这个不知道有没有用,加上就是了


再有就是,如果你平常用的是jupyter,很少用py直接跑,你可能不会注意到,相同名称的模型结构不一样,版本要对齐……


如果有用,不用谢,虽然是踩着我的脑细胞过去的



PS:失败了27次


举报
分享

分享文章到朋友圈

分享文章到微博

小伙子

发帖: 103粉丝: 4

级别 : 外部版主

发消息 + 关注

发表于2020年08月01日 22:57:10
直达本楼层的链接
沙发
显示全部楼层

点赞 评论 引用 举报

后希旭

发帖: 15粉丝: 10

级别 : 注册会员

发消息 + 关注

发表于2020年08月03日 08:54:02
直达本楼层的链接
板凳
显示全部楼层

你可以参考下我之前写的帖子,《新手入门NAIE训练平台》,链接如下:

https://zhuanlan.zhihu.com/p/147354444


拷贝到/cache就已经在本地了就可以直接使用了,如果需要拷贝到算法目录下,直接拷贝到./就可以了

评论
never_stop_train 2020-8-3 09:18 评论

嗯嗯,谢谢

... 查看全部
点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册