背景：

算法来源：图像分类-ResNet_v1_50 (huaweicloud.com)

算法名称：图像分类-ResNet_v1_50

使用自己的数据去训练，训练失败，界面上提示显存不足

可能的原因：

1. 显存不足

原因：batch_size过大

解决办法：逐步减少batch_size

2. 图片有问题-Invalid JPEG data or crop window

在日志里面观察到如下错误

比如：

tensorflow.python.framework.errors_impl.InvalidArgumentError: Invalid JPEG data or crop window, data size 631
     [[{{node map/while/cond/DecodeAndCropJpeg}}]]
     [[{{node MultiDeviceIteratorGetNextFromShard}}]]
     [[{{node RemoteCall}}]]
     [[node IteratorGetNext (defined at /home/work/anaconda/lib/python3.6/site-packages/moxing/tensorflow/executor/learning.py:1322) ]]
     [[node global_step/add (defined at /home/work/anaconda/lib/python3.6/site-packages/moxing/tensorflow/executor/learning.py:1174) ]]

原因：部分数据有问题

解决办法：

1.  过滤有问题的数据

参考：python - Tensorflow: Error when trying transfer learning: Invalid JPEG data or crop window - Stack Overflow

2. 使用数据清理

使用数据清洗

数据清洗_AI开发平台ModelArts_数据处理_数据处理预置算子说明_华为云 (huaweicloud.com)