一文读懂华为云IoT数据分析服务

华为云针对物联网领域业务提供了一系列专业的云服务，如设备接入、IoT数据分析服务等；其中IoT数据分析服务是专为IoT数据分析业务场景特征做了深度优化的云服务，基于物联网资产模型、整合物联网数据集成、清洗、存储、分析、可视化等能力，为开发者提供一站式的IoT数据分析能力，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。那么为什么要进行数据分析如下图所示。

大量的数据需要数据分析

物联网数据的特点

如何做好IoT数据分析

资产模型

资产模型是IoT数据分析服务充分理解物联网数据的基础。构建资产模型，就是构建物与物，物与空间，物与人等复杂关系，将物联网数据置于模型的上下文中去理解。资产模型就是物理世界的资产在数字世界中的映射，两边的数据准实时同步，实现数字孪生。IoT数据分析服务基于资产模型抽象，将不同的设备上报数据统一为业务可理解的数据格式。如下图所示。

物联网数据处理的关键是对时序数据的处理写入功能：怎样满足海量设备高并发，实时写入的要求？

压缩比例：某些物联网设备可能产生巨量数据，最大限度的压缩是减少成本的直接手段。

查询效率：面对长时间积累的物联网数据，如何满足高性能查询，特别是经常做时间维度的聚合查询。

按数据时效性分层处理，获得综合处理效率最大化

高效的数据清洗，为数据分析输入高质量的数据

相比将设备数据转发至通用数据分析服务进行分析的方案，IoT数据分析服务是专为物联网场景设计的。

IoT数据分析服务支持设备接入管理服务和多种第三方服务作为数据源，将数据集成、归档、存储后进行分析，分析引擎基于资产模型理解数据，支持实时分析、时序分析和离线分析。此外，针对行业用户，IoT数据分析后还提供了行业分析套件，包括智慧物流行业、新能源车分析行业等。分析后的数据，可以协同AI平台利用，也可以开发给第三方应用或华为云其他服务。数据分析的架构如下图所示。

离线分析

帮助物联网数据开发者快速构建物联网数据湖，开发者可通过标准SQL开发IoT数据分析任务，并轻松处理TB-EB级别物联网大数据

数据湖：提供成本低廉的海量数据存储能力，与物联网设备接入服务无缝对接，快速接入物联网数据源，并基于物联网资产模型，对物联网数据进行预处理，为数据分析做好准备

大数据分析：使用大数据高可用，可水平扩展框架，基于内存计算模型，DAG调度框架、高效的优化器，综合性能是传统MapReduce模型的百倍以上，帮助开发者轻松完成物联网数据批分析

标准SQL作业：提供标准的SQL接口，物联网数据开发者无需关心SQL处理引擎的部署和运维，只需聚焦物联网业务，开发分析作业，并支持丰富的作业调度策略配置。如下图所示。

实时分析

基于物联网大数据流计算引擎，提供物联网实时分析能力。为了降低开发者开发物联网流分析作业门槛，IoT数据分析服务提供图形化流编排能力，开发者可以通过拖拽方式快速开发上线。

图形化流编排能力：可视化流编排IDE，无需写SQL，通过简单拖拽完成物联网流分析作业定义

物联网流编排算子：基于典型物联网应用场景，封装常用算子，比如数据接入，数据过滤，数据转换等等。如下图所示。

时序分析

物联网的数据具备时间序列特性，如下图所示。

专为物联网时序数据处理优化的服务，包括高压缩比的时序数据存储，高效的时序查询效率，海量时间线能力；

海量接入：海量时间线能力，最大可达亿级。

时序存储：列式存储及专用压缩算法，高压缩率。

高效查询：基于时间多维度聚合，近实时分析查询。

数据可视化：提供时序洞察工具，方便物联网数据分析师进行时序数据探索。

更多学习内容，请关注IoT物联网社区 

添加华为云IoT小助手微信号（hwc-iot），回复“阅读”获取更多资讯