建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

角动量

发帖: 215粉丝: 8

发消息 + 关注

发表于2021年02月23日 20:09:36 56 3
直达本楼层的链接
楼主
显示全部楼层
[其他] DVERGE:通过“缺陷”多样化构建鲁棒性集成模型

最新研究表明,用于图像识别任务的卷积神经网络往往表现出一致的“对抗性缺陷”:对抗攻击算法可以生成很小的输入噪声误导这些模型,并且同一对抗噪声往往可以同时误导在同一数据集上训练出的不同模型,即在模型间“迁移”。

本文提出利用集成模型提升深度学习鲁棒性的DVERGE方法。我们通过提取集合模型的子模型学到的“非鲁棒特征”确定其缺陷所在,并进一步通过多样化子模型的缺陷使其面对对抗性噪声输出不同的结果。这一新颖的多样性描述与优化方式使DVERGE得到了超出其他集成学习方法的迁移攻击鲁棒性。

深度学习模型的鲁棒性缺失

image.png
图1 对抗攻击样例
对抗性攻击的研究使人对卷积神经网络的鲁棒性表示怀疑,这些攻击通常称为对抗性示例,对抗性示例中包括经过精心设计,人类所无法感知的输入扰动,但会引发CNN模型中引发错误分类。如上图所示,原图可以被正确识别为熊猫,而在增加一个随机噪声后,深度学习模型就把上图识别为长臂猿,而人类对俩个图均可以正常识别。
而类似的对抗性攻击如何是实在现实世界的应用中的?先前有研究证明了对抗性示例在CNN模型上有可移植性(transferability),其中针对任意模型生成的对抗性示例很大概率误导使用相同数据集训练的其他未指定的深度学习模型。
先前研究推测标准图像分类数据集中存在鲁棒和非鲁棒特征。人们可能会通过“对人类有意义的”鲁棒特征来理解图像,而这些特征通常对较小的附加噪声不敏感,而深度学习模型更倾向于学习非鲁棒特征。非鲁棒特征与输出标签高度相关,有助于提高模型精度,但在视觉上没有意义,并且对噪音敏感。对非鲁棒特征的这种依赖会导致对抗性漏洞(adversarial vulnerability),而对抗性示例会利用该漏洞来误导CNN模型。此外经验表明,在同一数据集上独立训练的CNN模型倾向于捕获相似的非鲁棒特征。

目前针对对抗性攻击的一些方法

1 对抗学习
目前大部分研究使用对抗训练提高CNN模型对抗攻击的鲁棒性。对抗训练可在每个训练步骤中将在线生成的对抗示例对自身的CNN模型损失降至最低。
对抗攻击通常会在某种约束S的作用下,将扰动项加到原始输入x上,以形成对抗示例xadv=x+δ,攻击目标是在输入xadv上最大化CNN模型输出与标签y的差异,记为Lθ攻击的目标可表示为xadv=x+argmaxδ∈SLθ(x+δ,y)。约束S用来保证对抗示例与原始输入在视觉上无法区分,通常将其定义为‖δp‖<ε。本工作使用L∞范数作为约束。
尽管最近的研究表明,对抗训练鼓励模型捕获数据集中的鲁棒特征,但该过程既困难又成本高。鲁棒特征的学习会损害模型的准确性,并且需要更大更深的模型以补偿增加的复杂性。然而,学习健壮的特征很困难,因此对抗训练通常会导致测试数据的泛化误差显着增加。
2 集成学习
有研究通过集成方法(如bagging和boosting)提升模型鲁棒性。直观地讲,该方法可以抵御黑盒传输攻击,因为只有当多个子模型收敛到相同的错误预测时,攻击才能成功。由于训练过程不排除非鲁棒性特征,这样的集成也可以实现较高的精度。人们探索了各种集成训练方法,如多样化输出logits分布或最小化每个子模型的输入梯度方向之间的余弦相似度。但实验结果表明,这些多样性测度并不能很有效地诱导子模型之间的输出多样性,因此相应的集成很难达到期望的鲁棒性。

DVERGE方法
我们寻求一种有效的训练方法,减轻攻击的转移性,同时保持高干净的准确性(非噪声的样本)。考虑到使用对抗训练可以有效地使模型利用鲁棒特征但会降低模型准确率,而集成方法可以使得模型精度较高但可能有攻击传递性,我们设计了一种有效的训练方法将二者结合,该方法即可以减轻攻击的可传递性,同时又能保持较高的准确性。
在深入研究子模型中对抗性易损性成因的基础上,提出提取每个子模型学习到的对应于对抗性实例易损性的特征,并利用提取的特征之间的重叠度来度量子模型之间的多样性。由于对抗性例子利用了子模型的脆弱性,子模型之间的小重叠表明,在一个子模型上成功的对抗性例子不太可能欺骗其他子模型。我们提出了通过“缺陷”多样化构建鲁棒集成深度学习模型(Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles, DVERGE)。
我们的整体训练方法做出了以下贡献:
•DVERGE可以成功地隔离和分散每个子模型中的漏洞,从而几乎消除了攻击的可传递性;
•DVERGE可以显著提高抵御黑盒传输攻击的鲁棒性,而不会显着影响精度;
•在同等评价条件下,随着集成子模型数量的增加,DVERGE所引起的多样性不断提高鲁棒性。


举报
分享

分享文章到朋友圈

分享文章到微博

运气男孩

发帖: 348粉丝: 40

发消息 + 关注

发表于2021年02月24日 00:02:00
直达本楼层的链接
沙发
显示全部楼层

感谢分享

点赞 评论 引用 举报

初学者7000

发帖: 159粉丝: 3

发消息 + 关注

发表于2021年02月24日 08:47:49
直达本楼层的链接
板凳
显示全部楼层

感谢分享

点赞 评论 引用 举报

小强鼓掌

发帖: 137粉丝: 2

发消息 + 关注

发表于2021年02月24日 09:03:21
直达本楼层的链接
地板
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册