建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

Cissie

发帖: 2粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020-1-8 14:35:59 1641 4
直达本楼层的链接
楼主
显示全部楼层
[经验交流] 三个月,使用华为NAIE平台的一些经验。

从2019年10月份初,开始使用NAIE平台,当时还是那个名字Softcomai。也算是见证着平台的发展与成熟。某些功能从无到有,越来越符合用户使用特征。


这三个多月的使用过程中,由于我使用平台的目的是,要借助平台的gpu运行已有的算法,所以着重点就在于平台里的【模型训练】,并且对一些出现的bug,及时的跟相关开发人员的联系,因此对这个模块还算了解。写几点使用心得,以供大家少走弯路吧。


1、文件上传。

(1)平台每个数据文件上传是有大小限制的(好像是必须小于80M),因此大家在上传数据的时候应该注意‘切割’;

(2)数据上传到平台之后,会自动建个文件夹(专属于此数据文件),因此在后面模型训练的时候,需要导入文件路径的时候要特别注意;

(3)读取文件夹批量数据,如果有一些粒度数据,可能会按照时间的方式存放到单独的.CSV中,那么上传,读取的时候,要特别注意。我读取的时候,通过上传的文件夹名字特殊标记一下比如(20190813----20190920),这样在代码中,可以通过。for循环,读取每个数据,再来操作合并等等等。


2、路径问题。

这个问题,我研究了两天的时间才慢慢懂了,平台路径的使用规律。一开始,并不知道还有个SDK说明文档。所以建议大家多读读SDK使用文档,很详细、管用(就在模型训练右上角)。其实,仔细看过。还是没看明白平台为什么会加入自己读取的路径方式。是否会对用户使用的体验有影响呢?


3、模型使用。

在【模型训练】这个模块,基本上和本地调用模块的方式雷同,‘根目录’就是当前显示的(服务器的路径略过),修改好,训练数据的路径,以及导出模型的路径,即可正常运行模型,有几点注意事项:

(1)一些框架的版本问题,平台使用的版本较为先进,所以,如果我们在本地使用的模块版本较低,可能会导致模型运行报错(比如有些分词模型Bilstm,使用的keras 2.2.4,而平台是keras 2.3.x),平台也有自己的版本,建议选取适合自己代码 的版本。

(2)调试模块,一开始我使用的时候,并未添加调试。好像前段时间加上了(NoteBook调试),没使用过,缺少调试使用手册文档。

(3)训练的时候,有三个配置以供使用,cpu、gpu、4×gpu。针对keras框架需要修改部分代码以供gpu使用,我在用到4×gpu的时候出现报错“OSError: [Errno 28] No space left on device”,然后就没处理。


4、模型测试及打包。

(1)测试。我测试还是在模型训练这块,提前把代码写好,将训练好的model.h5路径写好(就在job目录下,对应任务下,model文件夹里),设置好路径,直接loading 这个模型进行测试就行。

(2)打包。这个还是比较方便的,如果模型训练的不错,可以将模型以及结果数据,打包下载,方便用户其他地方使用。


简单写了写,平台整体还是很流弊的,各项功能一应俱全,比市面上一些中台好用多了。再给了用户规则化的同时,又不缺自由化。


举报
分享

分享文章到朋友圈

分享文章到微博

后希旭_训练平台

发帖: 10粉丝: 4

级别 : 注册会员

发消息 + 关注

发表于2020-1-8 17:14:29
直达本楼层的链接
沙发
显示全部楼层

(1)平台每个数据文件上传是有大小限制的(好像是必须小于80M),因此大家在上传数据的时候应该注意‘切割’;

-> 答复:如果有大量数据,我们推荐用户数据入湖,可以了解下“数据资产管理服务

评论
Cissie 2020-1-14 09:34 评论

感谢耐心讲解

... 查看全部
点赞 评论 引用 举报

后希旭_训练平台

发帖: 10粉丝: 4

级别 : 注册会员

发消息 + 关注

发表于2020-1-8 17:17:17
直达本楼层的链接
板凳
显示全部楼层

还是没看明白平台为什么会加入自己读取的路径方式。

-> 答复:训练的数据来源有本地上传和数据目录订阅,我们的sdk将二者统一了。

点赞 评论 引用 举报

后希旭_训练平台

发帖: 10粉丝: 4

级别 : 注册会员

发消息 + 关注

发表于2020-1-8 17:19:04
直达本楼层的链接
地板
显示全部楼层

一些框架的版本问题,平台使用的版本较为先进,所以,如果我们在本地使用的模块版本较低,可能会导致模型运行报错

-> 答复:可以在算法根目录下的reqirements.txt中配置你需要的库的版本,如:keras==2.2.4,在训练的时候我们平台会自动给你升级或者降级。

点赞 评论 引用 举报

后希旭_训练平台

发帖: 10粉丝: 4

级别 : 注册会员

发消息 + 关注

发表于2020-1-8 17:23:44
直达本楼层的链接
5#
显示全部楼层

(2)调试模块,一开始我使用的时候,并未添加调试。好像前段时间加上了(NoteBook调试),没使用过,缺少调试使用手册文档。

-> 答复:Notebook调试一直都有,如下图顺序。近期会上线在线IDE,体验会更好,支持线上编码、调试,欢迎到时使用。


notebook.png

评论
Cissie 2020-1-14 11:23 评论

期待平台IDE的早日上线。

... 查看全部
点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册