【视频微小运动放大】系列之六：快速欧拉运动放大与较大动作欧拉运动放大

本文简单介绍一下快速欧拉运动放大和较大动作欧拉运动放大：

首先，说说快速欧拉运动放大。相位欧拉运动放大技术需要对不同方向的微小运动计算相位变化，导致处理速度慢。但快速欧拉运动放大[1]认为大多数有意义的微小运动信号应该是方向单一的，所以没有必要计算除了主方向外的其他冗余方向上的相位信息。快速欧拉运动放大这一工作的核心思想是希尔伯特变换的二维形式Riesz变换可以找到每一点像素的相位变化的主要方向（见图1），用Riesz变换替代相位欧拉运动放大方法的傅立叶变换后，就不需要再计算其他方向的相位变化，从而节约了计算时间，最终实现了实时的欧拉运动放大。这个改进策略虽然实现了速度的提升，但由于实际视频中可能存在多个主方向的微小运动，导致最终的放大出现失真，从而放大效果并不如相位欧拉运动放大。

图1.流体运动过程中的动作方法结果对比[1]。(a)线性欧拉视频放大(b)相位欧拉运动放大(c)快速欧拉运动放大。

然后，说说较大动作欧拉运动放大。以前博文里提到的欧拉视角的微小运动放大技术都要求目标物体的运动幅度是比较微小的，否则就会出现严重的放大失真现象。拉格朗日运动放大也对运动信号的错误估计极为敏感。但现实生活中很多视频都会出现大幅动作的目标物体。较大动作下的欧拉运动放大[2]（以下称为较大动作欧拉运动放大）的核心思想是融合拉格朗日视角和欧拉视角，运用KLT 目标跟踪（Kanade-Lucas-Tomasi Tracking Method）找到微小运动目标的掩模（Mask），然后对掩模内的微小运动目标进行单独的相位欧拉视频放大，最后把放大结果放回原视频并进行空洞的纹理填充（见图2）。本方法的缺点是依然要对目标物体进行精确的目标分割，在低信噪比视频中是不稳定的，会严重影响放大效果。

图2.较大动作欧拉运动放大的算法流程[2]：分割前景，动作放大，漏洞修复。

参考文献:

[1] Wadhwa N, Rubinstein M, Durand F, et al. Riesz pyramids for fast phase-based video magnification; proceedings of the 2014 IEEE International Conference on Computational Photography (ICCP),2014.

[2] Elgharib M, Hefeeda M, Durand F, et al. Video magnification in presence of large motions; proceedings of the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.