【AI前沿动态】5MB的神经网络也高效,Facebook新压缩算法造福嵌入式设备

举报
HWCloudAI 发表于 2019/08/12 11:36:29 2019/08/12
【摘要】 人工智能风暴袭来,机器人、自动驾驶汽车这样的嵌入式设备也热度渐长。毫无疑问,现在,嵌入式设备也需要高效的神经网络加持。

人工智能风暴袭来,机器人、自动驾驶汽车这样的嵌入式设备也热度渐长。毫无疑问,现在,嵌入式设备也需要高效的神经网络加持。

但是,如何在嵌入式设备上实现高效的神经网络,可不是一件简单的事情。

image.png

性能,功耗,成本,都是不得不考虑的问题。每一种不同的应用场景,都需要在神经网络的大小和精确度之间进行特定的权衡(trade-off)。

像自动驾驶汽车,就需要实现对实时视频的精确识别,这意味着嵌入其中的神经网络模型一定是个体积庞大的家伙。

image.png

受限于硬件,神经网络必须进行压缩。

在卷积神经网络压缩这个课题上,移动高效架构是主流(MobileNets或ShuffleNets)。

然而,基于移动高效架构的MobileNet-v2在ImageNet对象分类中虽然已经达到了71%的 top-1准确率,但这仍远落后于卷积神经网络的最佳表现83.1%

Facebook的研究人员们决定转换思路,既然如此,何不更专注于传统的卷积网络本身呢?

重新审视神经网络的量化

Facebook提出了一种适用于ResNet类架构的压缩方法,名叫Bit Goes Down

image.png

这种方法利用了结构化量化算法PQ(Product Quantization)中卷积的高相关性,重点关注activations的重建,而不是权重本身。

也就是说,这种方法只关注域内输入的重建质量。

研究人员让未经压缩的神经网络充当“老师”,利用图灵奖得主Hinton等人提出的提炼(distillation)技术来指导“学生”网络的压缩。

这一过程无需任何标记数据,是一种无监督学习方法。

具体的实现方法是这样的:

一、层量化

先以全连接层为例。

PQ算法的任务是量化全连接层的权重矩阵。但从实际需求来看,权重不重要,保留层的输出才是研究人员的关注重点。

image.png

在上图这种非线性分类器中,不能保证层权重的Frobenius近似是某个任意域输出的最佳近似(特别是对于域内输入)。

因此,研究人员提出了一个替代方案,通过将层应用于域内输入获得输出激活(activations)的重建误差,直接最小化该误差。用编码簿(codebook)最大限度地减少输出激活及其重建之间的差异。

接着要对EM算法(最大期望化算法)进行调整。

E-step是集群分配,这一步通过详尽的探索来执行。

image.png

M-step是码字(codeword)更新,这一步通过显式计算最小二乘问题的解来完成,实际上就是在E-step和M-step交替之前,计算x tilde的伪逆。

image.png

需要注意的是在E-step之后某些集群可能为空。

对于卷积层情况又是如何呢?

在完全连接层,这一方法适用于任何矢量集,所以如果将相关的4D权重矩阵分割成一组向量,该方法就可以应用于卷积层。

分割4D矩阵的方法有很多,标准就是要最大化矢量之间的相关性,因为当矢量高度相关时,基于矢量量化的方法效果最好。

image.png

就像这样,在空间上量化卷积滤波器以利用网络中的信息冗余,不同颜色代表拥有不同码字的子向量。

二、网络量化

接下来,就涉及到对整个神经网络的量化。

首先,这是自下而上的量化,从最低层开始,到最高层结束。

image.png

这也就是所谓的用非压缩的教师网络引导学生网络的压缩。主要包括以下两个步骤:

学习码字

恢复该层的当前(current)输入激活,即通过量化后的低层转发一批图像而获得的输入激活。使用这些激活量化当前层。

微调码字

采用Hinton的distillation方法微调码字,以非压缩网络作为教师网络,当前层之前的压缩网络作为学生网络。

在这一步骤中,通过对分配给指定码字的每个子矢量的梯度求平均,来完成码字的精细化。更确切地说,是在量化步骤之后,一次性修复分配。

接下来,就剩下最后一步,全局微调所有层的码字,以减少残余漂移。同时更新BatchNorm层的统计数据。

全局微调使用的是标准的ImageNet训练集。

小体积,高精度

研究人员用Bit Goes Down量化了在ImageNet数据集上预先训练好的vanila ResNet-18和ResNet-50。

在16GB的 Volta V100 GPU上跑了一天之后,终于到了展示成果的时候。

首先,是跟标准ResNet-18和ResNet-50的比较。

image.png

对于ResNet-18,在29倍压缩的情况下,模型大小缩小到了1.54MB,而top-1准确率仅比标准模型降低了不到4%。

ResNet-50上模型大小略大一些,但也达到了5MB左右,准确率同样保持在一个可以接受的水平。

image.png

跟模型压缩界的前辈相比,Bit Goes Down表现出了它的优势,虽然在1MB的指定大小中败下阵来,但在5MB的比拼中,新方法优势明显,准确率提升了将近5个百分点。

这意味着压缩后的模型获得了非压缩ResNet-50的性能,同时还只有5MB大小。

Bit Goes Down在图像分类上表现不俗,在图像检测方面又如何呢?

研究团队又压缩了何恺明的Mask R-CNN。这回用上了8块V100 GPU来进行训练。

image.png

在压缩了25倍的情况下,压缩模型的Box AP和Mask AP都只下降了4左右。

这表现,着实有些厉害。

Facebook表示,Bit Goes Down这样的压缩算法将推动虚拟现实(VR)和增强现实(AR)等技术的进一步发展。

image.png

目前,研究团队已经开源了压缩模型及代码,如果感兴趣,你可以亲自复现一下~

传送门

博客地址:
https://ai.facebook.com/blog/compressing-neural-networks-for-image-classification-and-detection/

论文地址:
https://arxiv.org/abs/1907.05686

GitHub地址:
https://github.com/facebookresearch/kill-the-bits

转自:量子位

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。