技术干货 | 实现模型透明化的有效技术：MindSpore可解释AI能力 (一）
【摘要】 为什么需要可解释AI？在人类历史上，技术进步、生产关系逻辑、伦理法规的发展是动态演进的。当一种新的技术在实验室获得突破后，其引发的价值产生方式的变化会依次对商品形态、生产关系等带来冲击，而同时当新技术带来的价值提升得到认可后，商业逻辑的组织形态在自发的调整过程中，也会对技术发展的路径、内容甚至速度提出诉求，并当诉求得到满足时适配以新型的伦理法规。
01 为什么需要可解释AI？
在人类历史上，技术进步、生产关系逻辑、伦理法规的发展是动态演进的。当一种新的技术在实验室获得突破后，其引发的价值产生方式的变化会依次对商品形态、生产关系等带来冲击，而同时当新技术带来的价值提升得到认可后，商业逻辑的组织形态在自发的调整过程中，也会对技术发展的路径、内容甚至速度提出诉求，并当诉求得到满足时适配以新型的伦理法规。在这样的相互作用中，技术系统与社会体系会共振完成演进，是谓技术革命。
近10年来，籍由算力与数据规模的性价比突破临界点，以深度神经网络为代表的联结主义模型架构及统计学习范式（以后简称深度学习）在特征表征能力上取得了跨越级别的突破，大大推动了人工智能的发展，在很多场景中达到令人难以置信的效果。比如：人脸识别准确率达到97％以上；谷歌智能语音助手回答正确率，在2019年的测试中达到92.9%。
在这些典型场景下，深度学习在智能表现上的性能已经超过了普通人类（甚至专家），从而到了撬动技术更替的临界点。在过去几年间，在某些商业逻辑对技术友好或者伦理法规暂时稀缺的领域，如安防、实时调度、流程优化、竞技博弈、信息流分发等，人工智能（暨深度学习）取得了技术和商业上快速突破。
食髓知味，技术发展的甜头自然每个领域都不愿放过。而当对深度学习商业化运用来到某些对技术敏感、与人的生存或安全关系紧密的领域，如自动驾驶、金融、医疗和司法等高风险应用场景时，原有的商业逻辑在进行技术更替的过程中就会遇到阻力，从而导致商业化（及变现）速度的减缓甚至失败。
究其原因，以上场景的商业逻辑及背后伦理法规的中枢之一是稳定的、可追踪的责任明晰与分发；而深度学习得到的模型是个黑盒，无法从模型的结构或权重中获取模型行为的任何信息，从而使这些场景下责任追踪和分发的中枢无法复用，导致人工智能在业务应用中遇到技术和结构上的困难。
举两个具体的例子：
要解决模型的这些问题，就需要打开黑盒模型，透明化模型构建过程和推理机理。那么可解释AI是实现模型透明化的有效技术。
02 什么是可解释AI？
可解释AI，不论是学术界还是工业界都没有一个统一的定义。这里列举3种典型定义，供大家参考讨论：
1) 可解释性就是希望寻求对模型工作机理的直接理解，打破人工智能的黑盒子。
2) 可解释AI是为AI算法所做出的决策提供人类可读的以及可理解的解释。
3) 可解释的AI是确保人类可以轻松理解和信任人工智能代理做出的决策的一组方法。
03 可解释AI解决什么问题？
-
用户知道AI系统为什么这样做，也知道AI系统为什么不这样做。 -
用户知道AI系统什么时候可以成功，也知道AI系统什么时候失败。 -
用户知道什么时候可以信任AI系统。 -
用户知道AI系统为什么做错了。
04 如何实现可解释AI？
05 MindSpore1.1版本的可解释AI能力
1) Gradient，是最简单直接的解释方法，通过计算输出对输入的梯度，得到输入对最终输出的“贡献”值；而Deconvolution和GuidedBackprop是对Gradient的延展和优化；
4) GradCAM，针对中间激活层计算类别权重，生成对类别敏感的显著图，可以得到类别相关的解释。
2) Localization，定位性。基于显著图的解释具有目标定位的能力（即给定感兴趣的标签，显著图高亮图片中与标签相关的部分），localization借助目标检测数据集，对于同一图片同一个标签，通过显著图高亮部分和Ground Truth的重合度，来度量显著图的定位能力。
4) Robustness，健壮性。该指标反映解释方法在局部范围的抗扰动能力，Lipschitz值越小，解释收扰动影响越小，健壮性越强。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）