1. 问题描述

使用华为云昇腾Snt9B裸金属服务器，基于pytorch框架进行大模型训练时，需要迭代训练100轮，在第21轮训练时中途报错：

RuntimeError: [enforce fail at inline_container.cc:471] . PytorchStreamWriter failed writing file data: file write failed

具体报错信息为：

2. 问题定位

在训练时往往需要将训练中间结果记录为checkpoint保存在磁盘中，华为云昇腾Snt9B裸金属服务器默认自带200G的系统盘，使用df -h命令查看磁盘使用率，可以看到系统盘已被写满，该报错是由于磁盘容量不够保存checkpoint文件导致的。

3. 解决方案

有如下两种解决方案：

1. 减少checkpoint保存次数，来减少文件的写入。

2. 参考博客 [昇腾]Atlas800(鲲鹏920+昇腾Snt9处理器)环境配置指导，将磁盘合并挂载，并在保存checkpoint时，将保存地址指定在挂载的磁盘中。