【视频微小运动放大】系列之一：为什么要研究视频微小运动放大？

     微小运动是自然界不同尺度中广泛存在的现象。人们不易用肉眼观察到的大部分微小运动是微小振动与微小形变。振动（Vibration）是一种机械现象，如图1所示，指的是物体围绕平衡点往复运动的过程。振动包含简谐振动、阻尼振动、自由振动、受迫振动、自激振动、参数振动和随机振动等。一些振动拥有固定的波长和频率（比如真空中摆幅很小的理想钟摆的简谐振动），一些振动则没有固定的波长和频率（比如车辆行驶过程中轮胎的随机振动）。任何振动都需要受到力学激励，没有力学激励就不会产生振动。在自然世界中振动是普遍存在的一种现象，比如宏观尺度上的地震、海啸、秋千的摆动、石英钟摆的摆动、心跳、风中抖动的树叶，和微观尺度上的水分子的布朗运动、原子在晶体中的振动。虽然人眼很难看到微小的振动，但人类的耳朵可以感受到声波的微小振动。即使如此，大多数振动都是无声的，所以被人们忽略了。

图1. 简谐振动(a)与随机振动(b)示意图

    物体在外力（拉力、推力、剪切力等）的作用下，会发生不同程度的形状改变，这就是形变（Deformation）。形变包括塑性形变、弹性形变和蠕变等。比较大的形变容易被肉眼观察到，微小的形变则受制于人眼极限而难以被察觉。举例来说，婴儿呼吸会导致其腹部出现轻微的起伏运动、血管搏动会引发的血管壁出现微小的颤动、大型设备（比如吊塔）会随风发生轻微的摇摆、显微镜下细胞受力发生微小形变。这些微小形变虽然携带了目标物体的大量力学特性与功能信息，但往往由于肉眼不可见而被人忽略了。

    在物理学中，运动指的是物体在空间中的坐标随着时间而发生改变。大幅度的运动和微小幅度的振动都是运动。人的双眼虽然可以看到大幅度的运动（比如行人走过、双手挥舞、赛车飞驰等），但对于微小运动却极为不敏感。如果一个人对目标物体看得足够仔细，会发现几乎一切事物都存在微小运动或微小动作（比如微小振动、微小形变）。人类对微小运动的直觉性感受能力明显弱于对大幅度运动的感受能力。这种差异很大程度上取决于人眼的采样极限和分辨率极限。时间分辨率描述了人们在时间尺度上对两个事件或同一事件的演变进行分辨的能力，通常由采样率决定，以赫兹（Hz）为单位。奈奎斯特（Nyquist）采样定理说明了当采样频率大于被采样信号（原始信号）中最高频率的两倍时，采样信号才能完整地保留原始信号中的信息。根据Nyquist 采样定理，具有较高采样率的传感器能够捕获更高的振动频率，从而可以从其采集数据的对象中获取更多信息。空间分辨率描述了人们能够在空间中感知形状和分辨位置的能力。本文的微小运动放大对空间分辨率的讨论仅局限在二维空间中。

    对观察微小运动而言，人眼的空间分辨率高于时间分辨率。所以人们可以在静止的情况下看到目标物体表面的细致纹理，但当目标物体出大幅动作时却只能看到目标物体模糊的身影。即使在低速环境下，人眼也难以准确测量微小运动的频率。所以人们在做眼保健操时需要配合广播中播放的节拍音乐，大学生在军训时要大声喊“1，2，1！1，2，1！”。有研究表明人眼能够感受到的振动频率的最大值为20Hz。也就是说，人眼的时间分辨率是很差的。

    为了突破上述人眼在观察微小运动上时间分辨率与空间分辨率的种种局限，人们做了很多努力。显微镜是人类用来观察过小尺度物体的工具，包括光学显微镜、电子显微镜（X 光显微镜、扫描电子显微镜、透射电子显微镜）、扫描探针显微镜、荧光显微镜等。除了显微镜之外，人们还可以通过间接的方法对微小形变进行放大。比如物理实验中常用的投影仪放大、弱电流放大、光点反射放大、杠杆放大、点光源投影放大等。

    由于人眼的种种不足，因此通过计算机视觉算法对视频中微小信号（比如颜色、运动进行提取并放大具有重要的研究意义。其应用领域也十分广泛，比如摄像头监控下的婴儿呼吸特征检测、测谎摄像头中的微表情提取等。类比显微镜对物体静态结构的放大，微小运动放大技术也可以称作“动作显微镜”，是一种对微小动作进行放大的方法。