最终是因为数据量过大导致的。

最终是因为数据量过大导致的。

目前了解到：训练作业创建中一般原因为：1.  镜像过大导致拉取镜像的时间过长。一般会消耗5~10分钟。推荐镜像小于20GB。2. 数据量过大导致数据下载的时间过长，可以以100MB/s的下载速度去估算下载时长。3. SFS挂载超时，可能原因为专属资源池与SFS的网络联通异常

现象：这种情况可以在日志中观察到对应的错误日志类似为【[Modelarts Service Log]Training end with return code: 137】。原因：这段日志表示训练进程的退出码为137，而这里的训练进程就表示的用户的代码启动后的进程，换句话说这里的退出码就是用户的代码返回的。其他常见的247、139也是如此的原理如何解决：因为是用户代码导致的进程退出，所以着手点还是从用户代码入手。以下一些基本的排查手段方式一：1. 申请同样规格的开发环境（notebook）2. 在notebook中调试代码，并找出问题的代码段3. 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法注：该方法适用于非分布式的代码 方式二（推荐在方式一不生效的情况下使用）：1. 通过日志判断出问题的代码范围2. 修改代码，在可能出问题的地方多打些日志3. 再次运行作业，判断出问题的代码段4. 重复2,3步骤，直到找到出问题的地方 一些可能的原因：退出码139：一般是排查包的版本, 有些包冲突会有这种问题比方transformer的包版本。退出码137或者247：可能是OOM导致的。可以减少数据量，减少batch_size; 优化代码，合理聚合、复制数据;另外数据文件大小不等于内存占用大小，请仔细评估内存使用情况。

此贴不再维护。文档中的内容已经老旧。请各位移步此处：https://bbs.huaweicloud.com/forum/thread-105531-1-1.html

你好，看情况应该是没有工作空间的权限。可以提工单申请权限。

这个错误是因为这个接口还是灰度开放，需要开通白名单才可使用。请供下您华为云账号以及准备使用的区域比如北京四，或者直接通过工单提供信息，我们会马上给你们开通白名单。

请问默认工作空间的授权类型是private吗？请设置成private看下。

modelarts:notebook:update权限目前只控制notebook的描述修改、notebook的运行时长。该权限比较小。可以考虑开放。

目前新创建的工作空间无此问题。对于历史的工作空间中的关于notebook的配额需要重新设置下配额。