int8量化

举报
风吹稻花香 发表于 2021/06/05 22:19:45 2021/06/05
【摘要】   感觉深度学习在移动端的全面开花就在这两年了,其实感觉已经开始开花了。 先说说量化是怎么一回事,目前我们在caffe, tensorflow等框架上训练模型(前向和反向)都是使用float 32的,与int 8相比,所需储存空间更大,但是精度更好。 量化目前来讲,有两种方式,一种是通过训练量化finetune原来的模型,另一种是直接对模型和计算进行量化。这篇...

 

感觉深度学习在移动端的全面开花就在这两年了,其实感觉已经开始开花了。

先说说量化是怎么一回事,目前我们在caffe, tensorflow等框架上训练模型(前向和反向)都是使用float 32的,与int 8相比,所需储存空间更大,但是精度更好。

量化目前来讲,有两种方式,一种是通过训练量化finetune原来的模型,另一种是直接对模型和计算进行量化。这篇文章先来讲不使用finetune,直接对训练完毕的模型进行进行量化。

在深度学习中,对float 32进行int 8量化,使其模型尺寸更小、推断更快、耗电更低。唯一的缺点,模型精度会下降。

先比较一下,float 32 和 int 8有什么区别

Dynamic Range(两种数据类型的数值范围)

FP32 -3.4 x 10^38 ~ +3.4 x 10^38

INT8 -128 ~ +127

其实量化过程很简单,更高精度的向低精度的范围进行映射。

[公式]

[公式]

文章来源: blog.csdn.net,作者:网奇,版权归原作者所有,如需转载,请联系作者。

原文链接:blog.csdn.net/jacke121/article/details/104761170

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。