图像信号处理芯片设计原理----02 镜头阴影矫正

本系列主要介绍图像信号处理器 (ISP, Image Signal Processor) 中各核心算法模块的设计以及相关的前沿研究，以典型的相机成像系统为基础，涉及的内容包括各类缺陷校正，去马赛克，去噪，3A算法（自动对焦，自动曝光，自动白平衡），超分，HDR，风格迁移等主题。

本文将分析镜头阴影成因，并介绍其矫正方法。

一个摄像头的光学处理模块主要包含以下几部分，分别为镜头 (Lens)，红外截止滤波片 (IR-cut Filter)，图像传感器 (Image Sensor) 和印刷电路板。其中，镜头、红外截止滤波片和图像传感器是导致镜头阴影的主要部分。ISP中有专门的模块去除镜头阴影，该模块一般称为镜头阴影校正 (Lens Shading Correction, LSC)。

镜头阴影简介及成因

镜头阴影 (Lens Shading) 主要分为2种：亮度阴影 (Luma Shading) 和色彩阴影 (Color Shading)。

01 亮度阴影

亮度阴影（光学上称为渐晕，Vignetting）就是我们常说的暗角，典型表现为图像中心区域较亮，四周偏暗，如下图1所示。

图1

亮度阴影的成因主要有以下两种：

1. 机械阴影

镜头本身的机械结构导致，称为机械阴影 (Mechanical Shading)。镜头的各模块在制作和组装的过程中存在一定的工艺误差，从而影响光线在镜头内部的传播。类似于光学中的渐晕现象，如下图2所示，造成这种阴影的原因主要为遮光罩等机械结构，较大角度进入镜头的一些光线被镜筒遮挡，这些光线进入sensor时的亮度大幅衰减。

图2

1. 自然阴影

由镜头的光学特性引起，也称为自然阴影（Natural Shading）。对于整个镜头，可将其视为一个凸透镜。由于凸透镜中心的聚光能力远大于其边缘，从而导致Sensor中心的光线强度大于四周。此种现象也称之为边缘光照度衰减。表现为图像中心亮、四周暗。图像从中心向四周衰减的速率基本符合COSθ⁴法则。具体公式如下所示，I_o表示中心光强，θ表示入射光线与水平轴的夹角。

I = I_o* COSθ⁴

02 色度阴影

色彩阴影表现为图像中心区域与四周颜色不一致，即图像的四周或中心区域出现偏色，如下图3所示。

图3

色彩阴影的成因较为复杂，影响因素较多，以下做简要介绍。先简要介绍红外截止滤波片的特性。红外截止滤波片位于镜头和图像传感器之间。主要用于消除投射到Sensor上不必要的光线，防止Sensor产生伪色/波纹，从而提高色彩还原性。由于图像传感器上的RGB像素滤波片不能滤除红外光和紫外光，因此需要使用另外的滤波片进行滤除，否则会导致红绿蓝像素点的亮度值与人眼观察到的亮度值存在较大的差异。色彩阴影成因主要有以下三点：

1. 红外截止滤波片

红外截止滤波片（IR-Cut Filter）引入。普通的IR-Cut Filter为干涉型红外截止滤波片，在可见光区域有较高的透过率，存在较低反射率，而在红外区域正好相反，反射率较高，透过率很低。成角度拍摄照片时，红外光在IR膜上会有较大反射，经过多次反射后，被Sensor接收从而改变图像R通道的值，引起图像偏色问题。

1. 色散现象

镜头本身的光学特性（色散现象），如下图4所示，同一介质对不同波长光线的折射率不同，Sensor感受到光的位置会发生偏差。

图4

1. 主光线角

由Sensor上微透镜的CRA (Chief Ray Angle，主光线角)与Lens的CRA不匹配导致。镜头的主光线角与传感器不匹配，会使传感器的像素出现在光检测区域周围，致使像素曝光不足，亮度不够。Lens CRA与Sensor CRA一般相差在3°范围内，Lens CRA大于Sensor CRA时容易出现色彩阴影。

Lens CRA：从镜头的传感器一侧，可以聚焦到像素上的光线的最大角度。

Sensor CRA：Sensor上微透镜在保证像素感光效能为中心80%的前提下，能纠正的最大光路角度。

镜头阴影矫正方法介绍

镜头阴影校正的过程如下图所示。可以看到由于镜头阴影的影响，图像亮度从中心向四周衰减，因此可以拟合一条校正曲线，根据像素点在曲线所处位置，从校正曲线上获得增益值，对像素点进行校正。

图5

常用的镜头阴影校正方法有三种，下面简要介绍。

1. 同心圆法

镜头阴影从图像中心到四周越来越严重，且基本是呈现中心对称的，根据镜头阴影的这个特点，提出了一种镜头阴影校正方法，即根据各像素点与图像中心的距离R计算出一个校正系数。如下图所示，该方法简单、复杂度低、占用内存少，但是镜头装配过程复杂，不存在这种完全对称的情况，因此，该方法镜头阴影校正的效果一般欠佳，不具有实际应用价值。

1. 网格法

镜头阴影的渐变曲率从中心到边缘逐渐增大，增益曲线表现为中心疏，边缘密。因此将图像划分成中间疏、四周密的网格，每个块内有不同的增益。位于每个块内的像素点认为具有相同的增益值有相同的增益。网格法如下图6所示，该方法能适应不同的镜头模组，阴影校正效果较好。

图6

1. 改进的网格法

网格法虽然适应性较好，但是每块网格内具有相同的增益值，阴影校正的精度较差。在网格法的基础上做出了改进，引入了插值的思想。将图像等分成块，测出块四个顶点的增益值，落在块内部像素点的增益值根据四个顶点的增益值插值得出。改进的网格法如下图所示，可以适应非对称的模组情况，对阴影的校正效果更好，精度更高，缺点主要为计算量大、所占内存多。

图7

亮度阴影主要受镜头光路影响，色温对亮度阴影的影响较小；色彩阴影受色温的影响较大，不同色温光谱，阴影不同，因此可以标定多色温下不同的校正值。

参考资料：

[1] https://blog.csdn.net/qq_36317888/article/details/114933188

[2] https://www.image-engineering.de/

library/image-quality/factors/1073-shading

[3] https://blog.csdn.net/yxyx13120297/

article/details/85206426?spm=1001.2014.3001.5501

[4] https://zhuanlan.zhihu.com/p/14468

9473?utm_source=wechat_timeline