图像融合技术

最近为了合成数据集，研究了一些图像融合的方法，再次分享。

1. Alpha融合

Alpha融合是将前景fg和背景bg以掩膜mask的权重加权融合：

roi = roi*(1-mask)+fg*mask

当mask在前景处为1，在背景处为0时，Alpha就退化成最传统的粘贴，边缘差异极大，融合的图像也不和谐。当mask为合适的权重时，图中的现象会有所缓解。Alpha融合在Alpha Matting任务中较为通用。因此，个人认为Alpha Matting这个领域目前的实用性较弱。

2. 多频段融合

多频段融合的本质是在拉普拉斯金字塔上做Alpha融合，其中Alpha的值是通过如高斯模糊的方式，从原mask（只有0或1）计算得到。以高斯模糊为例，高斯金字塔上尺度大的图像包含更多高频特征，因此使用较小高斯核，反之用较大高斯核。多频段融合的具体实现见此博客。

从OpenCV实现的多频段融合来看，由于Alpha值是通过固定规则计算得到，前背景在一定程度上有融合的情况，造成类似光晕的现象。前背景交界处的高频部分依旧锐利，融合图像整体不和谐。

3. 泊松融合

泊松融合的思想类似于引导滤波，通过计算源图像（前景）在目标图像（背景）中的插入函数f（alpha）来融合。插入函数f的计算原理是：保证f在源图像的边缘值和目标图像函数一致（通常情况下就是为1），同时最小化插入函数f的梯度和引导函数v的差。这里的引导函数v可以是源图像的梯度，这时泊松融合是在一定边界条件下约束插入函数f梯度和源图像梯度尽量一致。另外，引导函数v也可以是源图像和目标图像的梯度均值。

从图中泊松融合的结果可以看出，这种图像融合方法在源图像梯度很小时，会几乎完全把前景替换为背景，使用范围依旧比较有限。