【视频微小运动放大】系列之五：相位欧拉运动放大

相位欧拉运动放大[1]（Phase based Eulerian Video Magnification，PEVM）是对欧拉视频放大技术的出色改进，主要借鉴了相移刻画微小位移的经典思想。基于前文假设的大多数有意义且肉眼难以察觉到的微小运动是微小振动和微小形变，PEVM假设微小运动是具有固定频率的微小振动，即待分析目标会围绕平衡点出现往复运动。相位欧拉运动放大的核心思想是用傅立叶展开代替线性欧拉视频放大的一阶泰勒展开，把目标信号𝐼(𝑥,𝑡)拆分为一系列正弦信号再进行微小运动提取。

在没有大幅动作的情况下，PEVM 的放大倍数比LEVM 更大，且噪声较小，如图1所示。

图1. 相位欧拉运动放大效果图[1]。（a）吊塔在风中微微摇摆的视频，将黑框处视频进行局部放大显示；（b）对黄线处的一行像素在时间轴上展开得到下图时空切片图，时空切片图的横轴为被切片的一行像素，时空切片图的纵轴为时间；原始视频中吊塔的晃动十分微弱，几乎肉眼不可见；（c）线性欧拉视频放大的结果，可以看到被放大的吊塔晃动，但也出现了不少被放大的噪声信号；（d）相位欧拉运动放大的结果，可以看到更大倍数的放大结果，同时噪声更小。

相位欧拉运动放大的具体步骤如图2所示，包括空间金字塔分解、时间序列滤波、相位去噪、微小运动放大、空间金字塔重建等主要步骤。

图2 相位欧拉运动放大算法流程示意图[1]。(a)多尺度多方向的空间金字塔分解；(b)对每一个像素在不同尺度不同方向的相位进行时序滤波；(c)进行基于幅度的相位平滑处理；(d)微小运动放大；(e)多尺度方向的空间金字塔重建

步骤（1）：采用方向可控金字塔（Steerable Pyramids）进行多尺度分解。上文已经提到不同尺度下存在不同空间频率的微小运动，需要分别进行微小运动放大。进一步地，微小运动可能出现在同一尺度的不同方向上。而对微小运动进行多个方向的分解，有利于相位信号的准确提取。方向可控金字塔就能够实现对原始视频进行多尺度且多方向的空域分解。方向越多，最终的放大效果越好，但对应的计算时间也越长。这是其中一个值得肯定的改进之处。

步骤（2）：对每一个像素在不同尺度不同方向的相位进行带通滤波。带通范围选择研究者感兴趣的频带，比如正常人的心跳范围1-1.7Hz。这一步也是欧拉视角的重要体现。如果需要进行精确的时频分析（比如心率、吉他弦的振动频率），就应该选择窄带滤波器，但会给放大结果带来振铃伪影（Ringing Artifacts）。如果想要更好的视觉效果，就可以选择宽通带滤波器，比如Butterworth 带通滤波器），这样可以减轻振铃效应。

步骤（3）：以方向可控金字塔分解后的不同方向的幅度谱作为权重，方向可控金字塔分解得到的相位谱进行加权的高斯平滑处理。由于平坦纹理区域的相位变化的可信度低，边缘部分的相位变化的可信度更高，需要进行基于傅立叶幅度谱权重的相位平滑处理，从而尽量消除噪声对相位的影响。

步骤（4）：对相位差进行适当放大，再叠加到原始相位上。

步骤（5）：最终进行基于方向可控金字塔的逆向图像和视频重建。

因为傅立叶变换里的相位代表了图像的主要形状特征或边缘信息，所以相位欧拉运动放大不仅在一定程度上削弱了线性欧拉视频放大的失真现象，同时显著降低了噪声对微小运动放大的负面影响，这是非常有益的进步。但是，PEVM 还存在较大幅动作下出现相位缠绕(Phase Wrap)，从而导致目标物体容易严重失真, 以及由于多个方向分解导致的处理速度慢的缺点。

参考文献:

[1] Wadhwa N, Rubinstein M, Durand F, et al. Phase-based video motion processing[J]. ACM Transactions on Graphics (TOG), 2013, 32(4): 1-10.