基于重建的无负样本异常检测

举报
语音服务 发表于 2021/04/29 20:18:39 2021/04/29
【摘要】 许多场景下异常检测,负样本很少或几乎没有,因此很难用检测、分类等算法解决。为解决该类问题,研究无负样本下异常检测。另外,图像变化差异小,缺陷变化大、种类多的数据也非常适合用此思路

1.研究目的

     许多场景下异常检测,负样本很少或几乎没有,因此很难用检测、分类等算法解决。为解决该类问题,研究无负样本下异常检测。另外,图像变化差异小,缺陷变化大、种类多的数据也非常适合用此思路

    1.1 基于重建(Reconstruction)异常检测方法主要思路

      > 主要由AEDAEAAEGAN等思想相结合发展出来

      判断思路:

      1)通过样本重建前后差异比较,异常样本重建前后差异大,确定测试样本是否异常

      2)样本Encoder隐空间的差异比较,确定样本是否异常

      3)训练判别器来判断异常数据

                                                    

   1.2 AE、VAE异常检测

     VAE( Variational  Auto encoder)变分自编码器

    • AE的一个问题:AE通过训练正常数据来学习其隐空间的分布状态,但实际隐空间分布的区间太大了,异常数据也能被表示出来,如左上所示(训练样本为8)。因此VAE从约束隐空间的角度来改进该问题

     • VAE算法思想:隐空间组合强制符合一种分布(高斯混合模型),期望即使是从未训练过的异常数据也能重建出类训练数据的结果

  1.3 VAE的问题及GAN

     • VAE的问题:直接计算生成图像与原始图像的均方误差来学习目标数据,只能算像素级差异学习,不能统筹考虑整张图像,如下图所示。下排2有6个像素差,算误差学习的时候肯定会由于误差太大而被妥协,而实际感观第二排2更像。所以不能只是单纯让目标与输入差距越小越好,GAN对抗学习可改进该问题

                                                      

     • GAN是怎么做到的?把整张图像和已知结果送进D网络,通过大量目标样本告诉D网络第二排是我们的学习目标。VAE的mse(VAE)是通过一个一个像素的差异来独立学习,而GAN的discrimator是从图像整体统筹考虑学习目标图像

     •  怎么来学习D?用G:要学习D需要有正负样本,我们只有正样本,那么可以伪造负样本,伪造太假的数据D很容易学到,但如果来一个更真一点的假图,D就分辨不出来了,所以需要G生成更真的假图

                                                 

   1.4 GAN的思想及训练过程

    GAN思想:由生成器G和判别器D组成。G先成模糊的数据,D把模糊的数据和真实的数据判别训练,提高水平。G需要生成更好的数据才能骗过第二代D,D再次训练第二代G的fake和real数据提高水平,迭代多次直到D无法区分出real和fake,此时G生成的数据已经可以假乱真了。训练过程如下图

                                               

   
因此,想学习图像高维空间分布,用GAN的思想学习比VAE
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。