深度指数激励网络：面向微弱故障诊断的更强注意力机制

工业装备在运行过程中，早期微弱故障的诊断一直是一项具有挑战性的任务。由于早期故障特征微弱且极易被背景噪声淹没，传统的诊断方法往往难以取得理想的效果。为了应对这一难题，发表在期刊 Structural Health Monitoring 上的论文《Deep exponential excitation networks: toward stronger attention mechanism for weak fault diagnosis》提出了一种深度学习注意力方法。该研究通过引入指数激励机制，自适应地放大与早期微弱故障相关的特征信息，从而提升诊断的准确性。

传统的注意力机制（如通道注意力网络SENet）在特征提取中应用广泛，它们通常使用Sigmoid函数将通道权重限制在0到1的区间内。然而在实际应用中，当网络捕捉到微弱的故障特征后，我们往往希望能够尽可能快、尽可能大、自适应地放大这些有用信号，以方便后续的特征挖掘。传统的受限权重区间在面对微弱故障特征时，其放大能力相对有限，难以凸显出淹没在强噪声中的微弱异常。

针对传统注意力机制的不足，该研究构建了指数激励模块（EEB）。通过将指数函数作为非线性激活层嵌入到注意力机制中，EEB能够输出具有更大数值和更宽范围的注意力权重。具体而言，传统方法的权重上限通常接近1，而指数激励下的最大权重可达到自然常数 e 左右，从而能够对关键特征进行更显著的自适应放大。同时，这些权重可以通过端到端的深度网络自动进行学习，避免了繁琐的人工调参过程。

为了进一步探索不同函数组合对特征放大的效果，论文设计并对比了三种不同的指数激励范式，即 Tanh + exp、|Tanh| + exp 以及 Sigmoid + exp。这些范式在特征缩放和指数激励的共同作用下，展现出不同的权重范围特征。例如，Tanh + exp 范式可提供较宽的权重范围，而 Sigmoid + exp 范式由于其良好的单调性，在梯度更新和网络收敛过程中展现出独特的优势。这些范式的引入为多变且复杂的故障诊断场景提供了更为灵活的特征增强选择。

该研究利用船用柴油机故障模拟数据集对所提方法进行了系统性验证。实验测试了包括进气管降压、压缩故障和喷油量异常在内的多种故障状态，并针对不同信噪比（从 60 dB 到强噪的 0 dB）的环境进行了抗噪性能测试。实验结果表明，在强噪声干扰下，所提的DEEN模型相比传统注意力网络在故障诊断准确率和收敛性上均表现出一定的提升，验证了指数激励在噪声环境下提取并放大微弱特征的有效性。

综上所述，该论文提出的深度指数激励网络（DEEN）为工业装备的早期微弱故障诊断提供了一种实用且新颖的解决方案。通过简单地将指数函数引入注意力架构，模型展现出了在嘈杂工业数据中捕获细微特征的能力。此外，由于其网络模块具有通用性，该方法不仅限于机械装备的故障诊断，未来也有望推广应用到同样存在噪声和冗余干扰的其他模式识别任务中，如图像分类与语音信号处理等。

参考文献：

Deep Exponential Excitation Networks: Towards Stronger Attention Mechanism for Weak Fault Diagnosis[J]. Structural Health Monitoring, 2024, 23(6): 3850-3866.