不是模型不行，是系统没喂饱：聊聊 openEuler 如何撑起“全自动 AI 训练优化”

—— Echo_Wish

做 AI 训练的朋友都有一个阶段会觉醒：

你以为自己在优化模型，其实你是在和系统打架。

GPU 利用率忽高忽低、IO 吞吐跟不上、NUMA 绑错核、数据加载卡住……
模型代码写得再优雅，只要底层系统没调好，训练效率就像“堵车”。

这几年在华为欧拉（openEuler）生态里做训练平台，我越来越坚定一个观点：

真正的“全自动 AI 训练优化”，不是框架层的事，是操作系统级别的能力。

今天我们就聊聊：
openEuler 是如何在内核、调度、资源管理层面支持 AI 训练全自动优化的？

一、先说个扎心事实：训练效率 50% 浪费在系统层

很多人优化训练的顺序是：

1. 调学习率
2. 换优化器
3. 改 batch size

却很少有人：

• 看 CPU 亲和性
• 看 NUMA 跨节点访问
• 看 IO 调度
• 看网络栈参数

但在大规模训练场景中，系统层面的损耗经常占 30% 以上。

openEuler 的优势在于：

它不是通用 Linux 的简单发行版，而是针对高性能算力场景做过深度优化。

二、openEuler 支持 AI 训练优化的核心能力

我总结为四个关键词：

• NUMA 感知调度
• 内核级性能增强
• 智能资源隔离
• 自动调优工具链

三、NUMA 优化：别让内存“跨城访问”

多路服务器常见 NUMA 架构：

CPU0 —— 内存0
CPU1 —— 内存1

如果线程跑在 CPU0，却访问内存1，延迟会上升。

在 openEuler 上可以使用：

numactl --hardware

绑定训练进程：

numactl --cpunodebind=0 --membind=0 python train.py

如果不绑定，默认调度可能跨 NUMA。

自动优化思路：

#!/bin/bash

NUMA_NODE=$(numactl --hardware | grep "available" | awk '{print $2-1}')

for i in $(seq 0 $NUMA_NODE); do
  numactl --cpunodebind=$i --membind=$i python train.py &
done

这类脚本可以自动感知机器拓扑，分布式启动。

openEuler 在 NUMA 拓扑感知上做过增强，结合 tuned 工具可以自动匹配策略。

四、CPU 亲和性与调度优化

默认 Linux CFS 调度器对 AI 训练未必最优。

查看当前调度策略：

chrt -p <pid>

提升优先级：

chrt -f -p 99 <pid>

openEuler 内核对高性能场景优化过 CFS 参数，支持更稳定的实时性能。

还可以通过 taskset 控制核绑定：

taskset -c 0-31 python train.py

避免训练线程和数据加载线程抢核。

五、IO 优化：别让数据加载拖后腿

训练时最常见瓶颈之一是数据加载。

查看当前 IO 调度：

cat /sys/block/sda/queue/scheduler

切换为 mq-deadline 或 none（NVMe 场景）：

echo none > /sys/block/nvme0n1/queue/scheduler

提升文件句柄限制：

ulimit -n 1048576

openEuler 在大规模 IO 并发场景下对块层和页缓存做过优化，对训练场景友好。

六、网络栈优化：分布式训练的关键

分布式训练最怕网络抖动。

调整 TCP 参数：

sysctl -w net.core.rmem_max=134217728
sysctl -w net.core.wmem_max=134217728
sysctl -w net.ipv4.tcp_rmem="4096 87380 134217728"
sysctl -w net.ipv4.tcp_wmem="4096 65536 134217728"

openEuler 对 RDMA、RoCE 等高性能网络支持更成熟，在华为算力集群场景表现稳定。

七、自动化调优：tuned + 脚本化封装

openEuler 提供 tuned 服务：

yum install tuned
systemctl start tuned
tuned-adm profile throughput-performance

也可以自定义 profile。

例如 AI 专用 profile：

[main]
summary=AI Training Performance

[cpu]
governor=performance

[disk]
readahead=4096

一键切换：

tuned-adm profile ai-training

这就是“自动化”的第一步。

八、结合 PyTorch 做系统感知优化

我们可以在训练代码中感知系统信息：

import os
import torch

num_cores = os.cpu_count()
torch.set_num_threads(num_cores // 2)

print("Using threads:", torch.get_num_threads())

结合环境变量控制：

export OMP_NUM_THREADS=32
export KMP_AFFINITY=granularity=fine,compact,1,0

这类参数在 openEuler 上表现更稳定。

九、真正的“全自动”怎么实现？

真正的全自动优化，需要三层协同：

1. 系统层自动识别硬件拓扑
2. 中间件自动调整资源策略
3. 训练框架动态感知负载

例如：

#!/bin/bash

CPU_CORES=$(nproc)
MEM_SIZE=$(free -g | awk '/Mem:/ {print $2}')

if [ $MEM_SIZE -gt 512 ]; then
  PROFILE="ai-large"
else
  PROFILE="ai-small"
fi

tuned-adm profile $PROFILE
python train.py

这已经接近“自适应训练环境”。

十、我的思考：AI 优化不是模型的战场，是系统的战场

我见过很多团队：

• 模型调到极致
• 服务器却用默认系统参数

最后 GPU 利用率只有 60%。

他们怪框架。

我怪系统。

openEuler 的意义在于：

它让操作系统重新成为 AI 训练的参与者，而不是旁观者。

未来的趋势一定是：

• OS 感知模型负载
• 自动调度 NUMA
• 自动分配 IO 策略
• 自动网络优化

那时候我们写的不是训练脚本。

我们写的是：

train --auto-optimize

系统帮你完成 80% 的优化。

十一、总结一句话

openEuler 支持 AI 训练优化，不只是“能跑”。

而是：

让算力资源真正被榨干，同时保持稳定可控。

真正的高手，不是调模型。

是把模型、系统、硬件三者调成一个整体。