大模型训练故障异构弹性恢复技术
【摘要】 背景介绍随着大模型技术的发展和其训练规模的不断扩大,集群的故障问题也日益凸显,严重影响模型训练的效率;例如,Meta AI实验室发布的OPT模型,其中OPT-175B[1]的训练时长90天( 900多张GPU),训练期间112次故障,故障恢复时间耗时长,最长一次甚至到80小时;OpenAI GPT-4[2]的训练时长90~100天(2万多张GPU),算力利用率MFU仅32%到36%,而故障恢...
背景介绍
随着大模型技术的发展和其训练规模的不断扩大,集群的故障问题也日益凸显,严重影响模型训练的效率;例如,Meta AI实验室发布的OPT模型,其中OPT-175B[1]的训练时长90天( 900多张GPU),训练期间112次故障,故障恢复时间耗时长,最长一次甚至到80小时;OpenAI GPT-4[2]的训练时长90~100天(2万多张GPU),算力利用率MFU仅32%到36%,而故障恢复涉及的高开销检查点则是低MFU的关键所在。因此,如何快速恢复模型续训提高集群训练的可靠性成为亟待解决的技术难题。
大模型训练故障恢复整体流程
大模型训练的故障恢复流程的主要步骤包括:
1)故障检测:检测系统中各种类型的故障,故障发生后,通知故障决策组件;
2)故障决策:收到通知后,针对不同的故障类型决策采取何种恢复机制,通知故障处理组件进行故障处理;
3)故障处理:收到故障决策组件的消息后,进行故障处理,如临终状态处理,数据修复等;
4)故障恢复:故障节点进程进行原地恢复或者迁移恢复等,正常节点任务需要回滚到指定的训练步骤,主要涉及关键技术有NPU设备和集合通信的状态保存与恢复。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)