- 预审中
- 预审通过
- 3 未采纳
【功能建议】ModelArts中使用NoteBook训练COCO数据集问题 未采纳 编辑 删除
- AI开发平台ModelArts
- 开发者
- 对象存储服务 OBS
- EI基础平台
- 存储
问题描述：
本来打算使用ModelArts中的NoteBook，基于自己找的算法，使用COCO数据集进行训练（约20GB），会出现存储空间不够，运行直接卡死
的情况。
NoteBook应该是基于Docker的吧。这里尝试了在创建NoteBook时，使用选择大容量的云硬盘EVS（1T）和选择OBS桶两种方案，都不太行。
在选择使用OBS时，Docker的存储内存改不了，而又不能直接往OBS里存储（环境里OBS不能作为一个路径，这点区别于谷歌的Colab，Colab是把谷歌云盘作为一个挂载点可以直接用)；
而使用云硬盘EVS可以有一个大容量的挂载盘，感觉EVS就是插了块大硬盘。但从OBS拉取20个GB数据集到NoteBook之后，稍微修改或者打几行代码就会卡死。
请问ModelArts的NoteBook在设计之初是为个人开发者设计打造吗？
如果是的话，设计之时有考虑大数据（比如约为20GB的COCO数据集）在NoteBook中使用自己的算法执行训练时的存储问题吗？
以及运行的稳定性问题，有遇到过卡死的情况吗？
请问华为工程师是直接使用NoteBook进行训练实践吗？
如果是的话，请问有没有遇到过类似问题，能提供一些解决办法吗？还是说是我的操作有问题，如果我的操作有问题，希望能得到指正，谢谢了，工程师小哥哥、小姐姐辛苦了。
建议方案：
建议增大Docker存储空间，增大到300GB或更大，能让运行大型数据集；
采用类似谷歌Colab的设计，直接挂载OBS，直接使用和存储结果到OBS，省去了数据传输的问题。
Tianyi_Li
发布于 2020-07-24 14:22:59
2020-07-24
99 1
0/1000
仅支持JPG、JPEG、PNG、GIF，数量不超过4张且每张大小不超过2MB
删除建议
全部评论（1）
评论（1）
非常感谢您的反馈，您的建议我们已经收到，并已提交至相关产品团队进行核查评估，评估完成后对于建议是否采纳会尽快给您答复，也请您持续关注云声平台，了解建议进一步处理进展，感谢您对华为云的支持！