视觉处理与识别概述

1.数字图像的变换与计算

一、灰度变换，图像灰度变换是将原始图像中每一个点的灰度值，按照特定映射函数，变换为另一个灰度值。
二、对比度增强，图像对比度增强通过增加相邻灰度级的灰度差别实现。
三、对比度压缩，图像对比度压缩通过减少相邻灰度级的灰度差别实现。
四、伽马矫正，伽马矫正是一种借助了指数变换映射的增强技术。
五、图像的直方图，灰度直方图反映的是一幅图像中各灰度级像素出现的频率。
六、直方图均衡化，直方图均衡化能够自动地计算变换函数，并产生有均值直方图的输出图像。能够有效增强
改善图像过暗、过亮和细节不清晰的问题。
七、空间滤波，空间滤波是一种局部处理方式，像素P的输出值由输入图像中像素P及邻域N中的像素值确定。
空间滤波使用的计算方法叫做模板运算。
1.均值滤波，均值滤波指模板权重都为1的滤波器。它将像素的邻域平均值作为输出结果，均值滤波可以起到
图像平滑的效果，可以去除噪声，但随着模板尺寸的增加图像会变得更加模糊，经常用于图像模糊化。
2.高斯滤波，也是一种平滑滤波器，高斯滤波的模板根据高斯分布来确定模板系数，接近中心的权重比边缘的大。
3.中值滤波，中值滤波属于模板排序运算的滤波器。中值滤波器将邻域内像素排序后的中位数值输出以代替原像素值。
八、图像的边缘检测，一阶梯度：Prewitt梯度算子、Sobel梯度算子。二阶梯度：Laplacian梯度算子。
九、图像锐化，将求取的边缘按照一定系数比例叠加到原始图像上，即可实现对图像的锐化操作。
十、坐标变换，图像的坐标变换又被称为图像的几何计算，常见的基本变换包括：
1.图像的平移。
2.旋转。
3.镜像。
4.缩放。
5.插值，最邻近插值法和双线性插值法。
6.仿射变换，是在二维平面对图像进行线性坐标变换的方法，即对图像进行线性变换和平移，包括了图像平移、缩放、旋转、镜像等。
7.透视变换，一种非线性变化。

图像预处理：
图像预处理是通过数字图像的变换和计算操作消除图像中无关的信息，恢复有用的真实信息。通过这些变换和计算可以增强有关信息的
可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。
图像预处理的流程主要包括：灰度变换，几何矫正，图像增强，图像滤波等操作。

2.1图像分类算法

图像分类性能度量：
1.Ground Truth：图像处理中，数据集中的真实标签被称为Ground Truth(GT)。
2.正确率(accuracy)：判断正确的样本数占所有样本数的比例
3.错误率(error rate)：判断错误的样本数占所有样本数的比例。

图像分类应用场景：
1.安防监控
2.身份验证
3.AI“面诊”罕见遗传疾病
4.PCB板质量检测

分类算法：
1.方向梯度直方图(HOG)
2.局部二值模式(LBP)
3.支持向量机(SVM)
4.Haar
5.Adaboost

2.2深度学习的图像分类算法

不同深度的卷积层提取的特征
输入图像像素-->边缘纹理-->局部特征-->目标特征

池化层的功能：
1.池化的目的是减少图像特征图的空间尺寸。
2.有时图像太大，我们需要减少训练参数的数量，它被要求在随后的卷积层之间周期性地引进吃化层。
3.池化层一般分为最大池化和平均池化。
4.池化层的最常见形式是最大池化。

全连接的功能：
1.全连接层是整个网络的"分类器"，可以用来将最后得到的特征映射到线性可分的空间。
2.使用的softmax激活函数将最终的输出量化。

卷积神经网络：
AlexNet
VGGNet
GoogleNet
ResNet
SENet

3.1图像目标检测

目标定位
特征点检测
目标检测

目标检测评估：平均精度(AP)和平均精度均值(mAP)

定位评估：使用loU参数进行评估，loU指检测结果和Ground Truth的交集和并集的比值。
loU值能反映检测结果的准确度，loU越接近1，说明检测结果和真实值越接近。
loU值大于一定阈值时，才认为正确定位到目标。

应用：行人检测，人脸检测，文本检测(车牌,发票,身份证)，交通车辆检测，交通信号灯检测
交通标志牌检测

3.2传统的图像目标检测算法

传统目标检测算法：
图像数据-->人工设计特征描述子-->特征和符号-->机器学习决策器-->图像识别

滑动窗口法：通用的目标检测思维方法。

特征描述子：图像处理中的特征描述子用于将图像转为固定长度的特征向量。不同的特征描述子被设计
出来以描述图像不同属性的特征。
HOG:
Haar:
LBP:

特征金字塔

决策器：Adaboost,SVM

难例挖掘

非极大值抑制：用于确定最终的目标检测输出结果。

Vj检测器:
Vj检测器使用Adaboost算法从一组大量随机Haar特征池中选择一组最有利于人脸检测的小特征集。
Haar特征配合Adaboost算法在人脸检测应用中能取得不错的效果。

HOG检测器

DPM检测器

3.3深度学习目标检测算法

Two-stage:
基于区域建议的算法，如R-CNN，Fast R-CNN，Faster R-CNN等

One-stage:
基于目标回归的检测算法，如YOLO，SSD

4图像分割算法

图像分割：根据需要解决的问题，将图像细分为目标内容所构成的不同子区域。

应用：医学影像分割，人像分割，视频影像分割

图像分割的性能度量：
通过对比算法分割的区域和Ground Truth的区域，可以判断分割结果的优劣，为了直观地
表示分割的性能，可以使用Dice系数进行评价

图像二值化：是将图像上的像素点的灰度值全部设置为黑色或者白色，也就是将整个图像分割成
明显的黑白效果的过程
二值图像在数字图像处理中占有非常重要的地位，，可以方便得进行连通域提取、形态学处理、
感兴趣区域分割等操作。

连通域分割：连通域分割是指根据连通域将图像中感兴趣的目标区域分割出来。常用于字符识别的技术中。

运动分割：利用连续帧图像的运动关系，将图像分割为运动目标前景和场景背景。通过对前景和背景的分离
可以实现不同的应用需求。

阈值分割：将图像中灰度值大于阈值的像素点设置为白色(或黑色)，小于阈值的点设置为黑色(或白色)，
阈值(Threshold)通常用T表示。

自适应阈值分割：
由于阈值的选取直接影响了二值化分割的效果。如何选择合适的阈值是二值化算法的核心。

为了适应光照不均匀的图像，自适应阈值算法还衍生出局部自适应阈值分割，此类算法会对图像
不同的区域计算合适局部的阈值，已达到最佳分割效果。

根据实际要处理的问题，选择或设计合适的自适应阈值算法能够对分割效果和后续处理带了很大的提升。

自适应阈值分割--双峰法
自适应阈值分割--最大类间方差法

目标分割：实现对图像中现有的目标进行像素级的精确边界分割。

深度学习图像分割：
使用深度学习进行图像分割，采用了分类的思路，判断像素点是属于目标前景还是背景。
FCN网络是把所有的全连接层换成卷积层，原来只能输出一个类别分类的网络可以在特征图的每一个像素输出
一个分类结果，这样就把网络输出每个像素的分类的向量，组合成了一个分割结果的特征图。

SegNet：可以对图像中的物体所在区域进行分割，例如车，马路，行人等，并且精确到像素级别。

U-Net：应用生物图像分割的深度学习模型。

5视频处理

帧差模型

背景统计模型：均值滤波法，中值滤波法

codebook背景模型

混合高斯模型

运动跟踪
目标跟踪定义
目标跟踪轨迹
目标跟踪算法难点：目标遮挡，目标旋转，光照尺度变化
目标跟踪算法思路：基于特征点的跟踪算法，深度学习的目标跟踪算法

视频摘要
视频摘要可以提取视频中运动物体，删除冗余画面，从而压缩原始视频长度。并对所有目标进行
时间排序，合成一个新的简短的视频片段。

视频摘要特性：极速摘要，区域摘要，方向摘要

视频检索
视频检索通过对非结构化的原始视频数据进行智能分析处理，算法自动生成视频的结构化信息。
侦察人员可以通过设置目标类别、出现区域、运动方向等信息，作为搜索条件对视频进行结构化搜索。

视频检索特征：特征检索，特定区域检索，轨迹检索，运动方向检索

场景监控：异常行为分析，入侵检测，流量计数，运动分析，仓库安防监控，智能交通监控，拘留所监控，商场安防监控