云社区 博客 博客详情
云社区 博客 博客详情

LiteAI四大"杀手锏",解锁物联网智能设备AI开发难关

华为IoT云服务 发表于 2020-05-14 14:59:42 05-14 14:59
华为IoT云服务 发表于 2020-05-14 14:59:42 2020/05/14
0
0

【摘要】 IoT设备中嵌入AI能力实现产品的智能升级,已经是AIoT行业发展的重要通道,那怎样才能实现AIoT = AI + IoT呢?如何将AI模型塞到小小的IoT设备里,让它可以轻松运行起来呢?成为了AI开发者遇到的棘手难题。

你知道我们生活中常见的物联网智能设备融合AI技术后,会给我们带来什么样的智能交互体验?在我们指尖触碰的那一刹那背后隐藏的代码世界又是怎么样的呢?

今天就来和大家说说IoT智能设备轻松实现AI的奥秘!

AIoT,智能化升级的最佳通道

AIoT,对我们来说已经不是一个陌生的词汇了,随着深度学习的蓬勃发展和5G万物互联时代的到来,越来越多的人将AI与IoT结合到一起,而 AIoT已经成为传统行业智能化升级的最佳通道,是物联网发展的必然趋势。

AI和IoT相互交融产生的魔力,让许多智能产品及智能应用成为无穷想象的“潜力股”。比如智能音箱中的语音唤醒,家庭监控里的人脸识别,可穿戴设备上的AI计步等等,已经验证物联网产品融入人工智能,升级成了智能设备后的“威力”。

但,物联网AI 开发者的“痛”,你遇到过么?

很多AI开发者开发者在训练得到AI模型之后,必须得在设备上实现模型的推理才能获得相应的AI能力,但目前AI模型不能直接在设备上运行起来。这就意味着,开发者还得有一套对应的推理框架才能真正实现AI与IoT设备的结合。

另外,目前深度学习虽然可以在很多领域超越传统算法,不过真正用到实际产品中却要面临计算量大,内存占用高,算法延时长的问题,而IoT设备又往往有算力低、内存小及实时性要求高的特点。因此针对IoT资源受限的问题,AI模型的压缩及性能优化是AI模型在部署过程中必须解决的难点。

IoT设备中嵌入AI能力实现产品的智能升级,已经是AIoT行业发展的重要通道,那怎样才能实现AIoT = AI + IoT呢?如何将AI模型塞到小小的IoT设备里,让它可以轻松运行起来呢?成为了AI开发者遇到的棘手难题。

LiteAI四大"杀手锏",解锁物联网设备AI 开发难关

l  LiteOS轻量级AI推理框架LiteAI,从模型转换、优化及执行三个方面向开发者呈现如何在IoT设备上实现AI模型的推理全流程,并结合智能设备AI开发的案例,展示AI部署全过程。

l  针对IoT设备内存空间小的问题,LiteAI应用了模型量化技术,将模型参数从32比特浮点量化到8比特定点,实现75%模型压缩;实现更合理的内存管理算法,最大化内存复用率,绝大部分场景下达到内存使用下限值;提供模型压缩及聚类算法供开发者选择,进一步减少内存占用。

l  LiteAI采用算子融合、SIMD指令加速、循环分支细化及Cache分块等技术手段,优化AI网络算子性能,加速模型推理,充分发挥ARM CPU算力。

l  LiteAI推理引擎纯C语言实现,无第三方依赖,极为适合IoT产品部署;采用代码化模型执行函数设计,仅编译链接有用算子,完全剔除其他所有无用算子,基本无冗余代码,实现代码段空间占用最小化。

登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消