基于重建的无负样本异常检测
1.研究目的
许多场景下异常检测,负样本很少或几乎没有,因此很难用检测、分类等算法解决。为解决该类问题,研究无负样本下异常检测。另外,图像变化差异小,缺陷变化大、种类多的数据也非常适合用此思路
1.1 基于重建(Reconstruction)异常检测方法主要思路
> 主要由AE、DAE、AAE、GAN等思想相结合发展出来
判断思路:
1)通过样本重建前后差异比较,异常样本重建前后差异大,确定测试样本是否异常
2)样本Encoder隐空间的差异比较,确定样本是否异常
3)训练判别器来判断异常数据
1.2 AE、VAE异常检测
VAE( Variational Auto encoder)变分自编码器
• AE的一个问题:AE通过训练正常数据来学习其隐空间的分布状态,但实际隐空间分布的区间太大了,异常数据也能被表示出来,如左上所示(训练样本为8)。因此VAE从约束隐空间的角度来改进该问题
• VAE算法思想:隐空间组合强制符合一种分布(高斯混合模型),期望即使是从未训练过的异常数据也能重建出类训练数据的结果
1.3 VAE的问题及GAN
• VAE的问题:直接计算生成图像与原始图像的均方误差来学习目标数据,只能算像素级差异学习,不能统筹考虑整张图像,如下图所示。下排2有6个像素差,算误差学习的时候肯定会由于误差太大而被妥协,而实际感观第二排2更像。所以不能只是单纯让目标与输入差距越小越好,GAN对抗学习可改进该问题
• GAN是怎么做到的?把整张图像和已知结果送进D网络,通过大量目标样本告诉D网络第二排是我们的学习目标。VAE的mse(VAE)是通过一个一个像素的差异来独立学习,而GAN的discrimator是从图像整体统筹考虑学习目标图像
• 怎么来学习D?用G:要学习D需要有正负样本,我们只有正样本,那么可以伪造负样本,伪造太假的数据D很容易学到,但如果来一个更真一点的假图,D就分辨不出来了,所以需要G生成更真的假图
1.4 GAN的思想及训练过程
GAN思想:由生成器G和判别器D组成。G先成模糊的数据,D把模糊的数据和真实的数据判别训练,提高水平。G需要生成更好的数据才能骗过第二代D,D再次训练第二代G的fake和real数据提高水平,迭代多次直到D无法区分出real和fake,此时G生成的数据已经可以假乱真了。训练过程如下图
- 点赞
- 收藏
- 关注作者
评论(0)