【视频微小运动放大】系列之六:快速欧拉运动放大与较大动作欧拉运动放大

举报
Wood 发表于 2021/06/21 11:33:14 2021/06/21
【摘要】 快速欧拉运动放大减少了大量冗余计算,但也损失了少量精度。较大动作欧拉运动放大的核心思想是融合拉格朗日视角和欧拉视角。

本文简单介绍一下快速欧拉运动放大和较大动作欧拉运动放大:

首先,说说快速欧拉运动放大。相位欧拉运动放大技术需要对不同方向的微小运动计算相位变化,导致处理速度慢。但快速欧拉运动放大[1]认为大多数有意义的微小运动信号应该是方向单一的,所以没有必要计算除了主方向外的其他冗余方向上的相位信息。快速欧拉运动放大这一工作的核心思想是希尔伯特变换的二维形式Riesz变换可以找到每一点像素的相位变化的主要方向(见图1),用Riesz变换替代相位欧拉运动放大方法的傅立叶变换后,就不需要再计算其他方向的相位变化,从而节约了计算时间,最终实现了实时的欧拉运动放大。这个改进策略虽然实现了速度的提升,但由于实际视频中可能存在多个主方向的微小运动,导致最终的放大出现失真,从而放大效果并不如相位欧拉运动放大。

图1.PNG

1.流体运动过程中的动作方法结果对比[1](a)线性欧拉视频放大(b)相位欧拉运动放大(c)快速欧拉运动放大。

然后,说说较大动作欧拉运动放大。以前博文里提到的欧拉视角的微小运动放大技术都要求目标物体的运动幅度是比较微小的,否则就会出现严重的放大失真现象。拉格朗日运动放大也对运动信号的错误估计极为敏感。但现实生活中很多视频都会出现大幅动作的目标物体。较大动作下的欧拉运动放大[2](以下称为较大动作欧拉运动放大)的核心思想是融合拉格朗日视角和欧拉视角,运用KLT 目标跟踪(Kanade-Lucas-Tomasi Tracking Method)找到微小运动目标的掩模(Mask),然后对掩模内的微小运动目标进行单独的相位欧拉视频放大,最后把放大结果放回原视频并进行空洞的纹理填充(见图2)。本方法的缺点是依然要对目标物体进行精确的目标分割,在低信噪比视频中是不稳定的,会严重影响放大效果。

图2.PNG

2.较大动作欧拉运动放大的算法流程[2]:分割前景,动作放大,漏洞修复。

参考文献:

[1] Wadhwa N, Rubinstein M, Durand F, et al. Riesz pyramids for fast phase-based video magnification; proceedings of the 2014 IEEE International Conference on Computational Photography (ICCP),2014.

[2] Elgharib M, Hefeeda M, Durand F, et al. Video magnification in presence of large motions; proceedings of the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015.

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。