持续对比强化学习：走向更智能的航空发动机故障诊断

航空发动机作为飞机的核心动力源，其运行的安全性和可靠性至关重要。然而，实际运行中故障样本极度匮乏、各类故障发生频率高度不均衡，且监测数据随着每日飞行任务不断增长，给传统的静态数据驱动诊断模型带来了巨大挑战。为了应对这一难题，国内研究团队在《Advanced Engineering Informatics》上发表了名为“Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios”的学术论文。该论文提出了一种持续对比强化学习（CCRL）框架，将航空公司的实际运行环境转化为智能体的学习环境，通过下图展示的整体流程，使诊断智能体能够在数据持续增长的过程中不断与环境交互，实现模型的动态演化与长期优化。

在航空发动机的实际诊断应用中，如何构建高质量的数据流是模型成功的基础。论文详细阐述了实验数据的收集与处理流程，如下图所示，通过记录发动机从初始运行到因故障拆卸的完整生命周期，将接收客户通知报告之前的飞行阶段划分为正常状态，并在故障发生前的有限飞行区间内进行样本采样。该过程结合了原始传感器参数与制造商提供的客户通知报告，将复杂的多元时间序列转化为包含气路性能偏差特征的结构化诊断输入，为后续模型学习奠定了数据基础。

针对故障样本稀缺导致模型难以提取有效特征的问题，研究团队设计了一个特征区分模块。如下图所示，该模块放弃了在时间序列上容易引入不确定性的常规数据增强手段，转而直接利用现有的真实故障样本构建正负样本对。为了在故障样本极少的情况下保证编码器的泛化能力，该方法先利用海量的正常样本对基于长短期记忆网络（LSTM）的自编码器进行预训练，然后在对比学习训练阶段引入加权的温度标度交叉熵损失函数进行微调，从而在特征空间中有效拉近同类故障的投影距离，并推开不同类别故障的距离。

在获取高辨识度的特征表示后，分类决策由类型识别模块来完成。如下图所示，该模块采用了竞争双重深度Q网络（D3QN）结构，将故障诊断过程抽象为一个序贯决策博弈。由于不同故障类别的样本量高度失衡，普通的强化学习奖励机制容易使智能体偏向多数类，因此该研究引入了一种基于样本分布的归一化权重分配奖励规则。智能体通过与模拟环境不断交互，在接收反馈信号的过程中调整对稀有故障的关注度，在实现样本权重自适应调整的同时，避免了模型预测偏见。

为了验证所提方法的实际表现，研究人员使用真实航空发动机数据集进行了多次对比实验。下图的箱线图展示了CCRL方法与三种基线方法（传统D3QN、欠采样加D3QN、过采样加D3QN）在F1分数、精确率和召回率三个核心指标上的对比情况。实验结果表明，CCRL在各项指标的均值和中位数上均表现出了较好的水平，并且在多次重复实验中展现出更窄的分布区间和更强的稳定性，表明其能较好地在极度不平衡的数据环境下平衡精确率与召回率。

最后，论文通过消融实验进一步剖析了各个核心组件对系统性能的贡献。如下图所示，通过t-SNE对不同消融方案的输出特征进行二维空间可视化展示，可以清晰地观察到，在引入了预训练自编码器与对比学习后，正常样本与各类故障特征的离散度显著降低，各类群的边界更加清晰。这一发现表明有效的特征区分在面临样本失衡的诊断任务中起到了关键作用。这项研究为复杂装备的在线持续学习与故障诊断提供了一条技术路径，未来研究还将进一步探索零样本诊断以及多种飞行记录数据的深度融合。

参考文献：

Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.