- 预审中
- 预审通过
- 已采纳
- 4 已实现
【功能建议】mindrecord文件保存了生成时的绝对路径，导致文件不能移动，在哪里用，在哪里生成 已实现 编辑 删除
- AI开发平台ModelArts
- EI基础平台
问题描述：
我在本地生成了mindrecord文件，供云上运行模型生成dataset用，结果错误提示如下
shard_reader.cc:124] Init] DB file can not match file
[ERROR] MD(162,python):2020-08-11-04:00:39.655.725 [mindspore/ccsrc/mindrecord/io/shard_reader.cc:124] Init] DB file can not match file /cache/gpt2cx_data/webtext-valid.mr
Traceback (most recent call last):
File "/home/work/user-job-dir/datatest/gpt2_dataset.py", line 222, in <module>
for x in ds.create_dict_iterator():
File "/usr/local/ma/python3.7/lib/python3.7/site-packages/mindspore/dataset/engine/datasets.py", line 1076, in create_dict_iterator
return DictIterator(self)
File "/usr/local/ma/python3.7/lib/python3.7/site-packages/mindspore/dataset/engine/iterators.py", line 82, in __init__
root = self.__convert_node_postorder(self.dataset)
File "/usr/local/ma/python3.7/lib/python3.7/site-packages/mindspore/dataset/engine/iterators.py", line 178, in __convert_node_postorder
c_child = self.__convert_node_postorder(py_child)
File "/usr/local/ma/python3.7/lib/python3.7/site-packages/mindspore/dataset/engine/iterators.py", line 175, in __convert_node_postorder
c_node = self.depipeline.AddNodeToTree(op_type, node.get_args())
RuntimeError: Thread ID 281472905199632 Unexpected error. MindRecordOp init failed. Error message: operator failed
Line of code : 149
File : /home/jenkins/agent-working-dir/workspace/Compile_Ascend_ARM_EulerOS/mindspore/mindspore/ccsrc/dataset/engine/datasetops/source/mindrecord_op.cc
[Modelarts Service Log]2020-08-11 04:00:40,019 - ERROR - FMK of device3 (pid: [162]) has exited with non-zero code: 1
后改为在云上生成，云上用才可以
建议方案：
希望后续改进生成mindrecord文件内，没有路径限制，因为云上运行模型，每次都是要重新生成数据文件，文件是临时的，训练模型的数据通常都很大，还要调试运行很多次，这样每次都重新生成太浪费资源
xiechris
发布于 2020-08-12 08:56:51
2020-08-12
352 3
0/1000
仅支持JPG、JPEG、PNG、GIF，数量不超过4张且每张大小不超过2MB
删除建议
全部评论（3）
评论（3）
您提出的建议产品团队已经优化上线解决啦，MindSpore guozhijian(00567736) 更新了 ME 线上文档，说明 mindrecord 文件当前不支持修改文件名，感谢您的反馈，若在使用还有其它建议，可在云声平台继续反馈，我们收到后会尽快处理。感谢您对华为云的支持！
您好，关于您提交的建议产品和研发团队进行了评估，为了能更准确的定位反馈内容，提供一下您本地用的 MindSpore 版本信息，云上是 0.5 的还没动过的，方便时尽量附带截图，以便我们尽快核实并推动解决，感谢您对华为云的支持！
非常感谢您的反馈，您的建议我们已经收到，并已提交至相关产品团队进行核查评估，评估完成后对于建议是否采纳会尽快给您答复，也请您持续关注云声平台，了解建议进一步处理进展，感谢您对华为云的支持！