【视频微小运动放大】系列之四：线性欧拉视频放大

欧拉视频放大（Eulerian Video Magnification, EVM）采用了与拉格朗日视角完全不同的欧拉视角^[1]，为了与后续的前人研究工作进行区分，本文将欧拉视频放大称为线性欧拉视频放大（Linear Eulerian Video Magnification，LEVM）。欧拉视角擅长分析固定位置像素点在时间轴上的演变过程，十分适合微小运动放大这种对局部微小运动的分析。线性欧拉视频放大是微小运动分析技术的革命性进展。其研究本意是对动作进行放大，但有意思的是，其最终研究结果是既能做微小颜色变化的放大，也能做微小动作的放大。

线性欧拉视频放大的核心思想是对每个像素在时间维度利用一阶泰勒展开得到微小运动的近似信号，然后通过预先设计的滤波器提取微小的运动信号，并将微小运动信号进行适当放大后进行叠加重建得到微小运动放大后的视频。线性欧拉视频放大的流程如图1所示。

图1. 线性欧拉视频放大算法流程图，包括空间金字塔分解、每个像素的时序滤波、微小变化放大、空间金字塔重建等主要步骤

实际上，微小运动是需要基于尺度来考虑的现象，特别需要注意的一点是大尺度上的微小运动在小尺度上就会变为大幅运动。这就意味着大尺度上的微小运动信号与小尺度上的微小运动信号应该分别对待，不应相互影响。因此，需要对原始图像进行金字塔分解，在不同尺度上分别进微小运动放大。在理想情况下，微小变化项是十分微小的，也不存在噪声信号，所以采用一阶泰勒展开得到的近似信号和真实信号非常接近。但在实际情况中，微小变化项可能较大，导致一阶泰勒展开的信号与真实信号差距较大；另外，一些微小变化项混有噪声信号，导致无意义的噪声信号被当作有意义的微小变化信号进行了放大。上述两点会导致最终结果出现亮度失真和信噪比降低。为了解决噪声被当作有用信号进行放大的问题，需要对每一个像素点的时间序列进行带通滤波。滤波范围选择研究者感兴趣的频带范围。然后再用泰勒级数来得到近似的微小变化信号。

线性欧拉视频放大虽然展示了令人惊奇的微小变化放大效果（颜色放大和动作放大），但一阶泰勒展开这种提取微小变化项的方式容易受到噪声信号的干扰而让放大效果产生严重的放大失真。尽管如此，早期的线性欧拉视频放大引入了欧拉视角，其思想贡献巨大，所以它是微小运动放大领域的里程碑之作。

参考文献:

[1] Wu H-Y, Rubinstein M, Shih E, et al. Eulerian video magnification for revealing subtle changes in the world. 2012.