一文读懂华为云IoT数据分析服务

Super.雯 发表于 2022/03/26 14:11:04 2022/03/26
【摘要】 华为云针对物联网领域业务提供了一系列专业的云服务,如设备接入、IoT数据分析服务等;其中IoT数据分析服务是专为IoT数据分析业务场景特征做了深度优化的云服务,基于物联网资产模型、整合物联网数据集成、清洗、存储、分析、可视化等能力,为开发者提供一站式的IoT数据分析能力,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。那么为什么要进行数据分析如下图所示。大量的数据需要数据分析物联网数...

华为云针对物联网领域业务提供了一系列专业的云服务,如设备接入、IoT数据分析服务等;其中IoT数据分析服务是专为IoT数据分析业务场景特征做了深度优化的云服务,基于物联网资产模型、整合物联网数据集成、清洗、存储、分析、可视化等能力,为开发者提供一站式的IoT数据分析能力,降低开发门槛,缩短开发周期,快速实现物联网数据价值变现。那么为什么要进行数据分析如下图所示。

大量的数据需要数据分析


物联网数据的特点



如何做好IoT数据分析

资产模型

资产模型是IoT数据分析服务充分理解物联网数据的基础。构建资产模型,就是构建物与物,物与空间,物与人等复杂关系,将物联网数据置于模型的上下文中去理解。资产模型就是物理世界的资产在数字世界中的映射,两边的数据准实时同步,实现数字孪生。IoT数据分析服务基于资产模型抽象,将不同的设备上报数据统一为业务可理解的数据格式。如下图所示。


物联网数据处理的关键是对时序数据的处理写入功能:怎样满足海量设备高并发,实时写入的要求?

压缩比例:某些物联网设备可能产生巨量数据,最大限度的压缩是减少成本的直接手段。

查询效率:面对长时间积累的物联网数据,如何满足高性能查询,特别是经常做时间维度的聚合查询。


按数据时效性分层处理,获得综合处理效率最大化


高效的数据清洗,为数据分析输入高质量的数据


相比将设备数据转发至通用数据分析服务进行分析的方案,IoT数据分析服务是专为物联网场景设计的。

IoT数据分析服务支持设备接入管理服务和多种第三方服务作为数据源,将数据集成、归档、存储后进行分析,分析引擎基于资产模型理解数据,支持实时分析、时序分析和离线分析。此外,针对行业用户,IoT数据分析后还提供了行业分析套件,包括智慧物流行业、新能源车分析行业等。分析后的数据,可以协同AI平台利用,也可以开发给第三方应用或华为云其他服务。数据分析的架构如下图所示。


离线分析

帮助物联网数据开发者快速构建物联网数据湖,开发者可通过标准SQL开发IoT数据分析任务,并轻松处理TB-EB级别物联网大数据

数据湖:提供成本低廉的海量数据存储能力,与物联网设备接入服务无缝对接,快速接入物联网数据源,并基于物联网资产模型,对物联网数据进行预处理,为数据分析做好准备

大数据分析:使用大数据高可用,可水平扩展框架,基于内存计算模型,DAG调度框架、高效的优化器,综合性能是传统MapReduce模型的百倍以上,帮助开发者轻松完成物联网数据批分析

标准SQL作业:提供标准的SQL接口,物联网数据开发者无需关心SQL处理引擎的部署和运维,只需聚焦物联网业务,开发分析作业,并支持丰富的作业调度策略配置。如下图所示。


实时分析

基于物联网大数据流计算引擎,提供物联网实时分析能力。为了降低开发者开发物联网流分析作业门槛,IoT数据分析服务提供图形化流编排能力,开发者可以通过拖拽方式快速开发上线。

图形化流编排能力:可视化流编排IDE,无需写SQL,通过简单拖拽完成物联网流分析作业定义

物联网流编排算子:基于典型物联网应用场景,封装常用算子,比如数据接入,数据过滤,数据转换等等。如下图所示。


时序分析

物联网的数据具备时间序列特性,如下图所示。


专为物联网时序数据处理优化的服务,包括高压缩比的时序数据存储,高效的时序查询效率,海量时间线能力;

海量接入:海量时间线能力,最大可达亿级。

时序存储:列式存储及专用压缩算法,高压缩率。

高效查询:基于时间多维度聚合,近实时分析查询。

数据可视化:提供时序洞察工具,方便物联网数据分析师进行时序数据探索。

更多学习内容,请关注IoT物联网社区 

添加华为云IoT小助手微信号(hwc-iot),回复“阅读”获取更多资讯

小助手二维码.jpg

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。