【云驻共创】华为云IoT数据分析流程实操
一、数据分析的发展
1.数据分析概念
以下从三个阶段来说明数据分析概念：背景、目的和定义。
1.1 数据分析的背景
现如今随着互联网的迅速发展，各种应用层出不穷，各行各业数据大量产生，但都有其规律，随之而来就是大数据的诞生，越来越多的数据被不断的挖掘出来，形成了以数据论断的形势。
比如：对你的购物习惯、外卖，喜好进行行为分析，这些数据都会被各种商家收集，组成数据。这些数据会帮助购物平台更精准的推荐商品和对应的商家。然而这只是数据分析应用的冰山一角，它还可以应用到行政领域、医疗领域、金融领域、交通领域、畜牧业等等。
随着数据规模越来越庞大，以人力计算是无法满足现实需求和社会的快速发展，无法跟上行业的发展态势，不改变相当于和社会脱节，无法形成有效的发展和竞争力，数据分析的活大部分以计算机进行筛选过滤，最终由人类来决策，数据分析已经成为人类的一种辅助工具，可以帮助决策者更明确做出预期判断与预测，这也是数据分析最主要功能之一。
1.2 数据分析的目的
数据分析并不是一个新领域，数据一直伴随在日常生活中，并没给出精准说法而已，只是伴随着时代的发展，或者更准确的讲是互联网的发展所致，大家越来越关心数据的作用，推动它逐渐演化成了一个行业，行业的从业人员称为“数据分析师”。
从业者的主要职责就是不断从这批庞大数据中挖掘出存在价值的有效数据，再通过所研究它们并找出内在规律，这些信息的最终的目的是辅助人们做出决策，管理科学上有一个专业名词就是“不断寻找最优解”的过程。
在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动，数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。
1.3数据分析的定义
数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
2.物联网数据分析概念
在面向新一代信息基础设施的物联网体系架构中，数据处理以及基于数据的智能服务变得越来越重要，要求越来越高，需要实时性和准确性。随之而来就出现了两个概念边缘计算和云边协同。
边缘计算：是指把简单的、需要实时计算和分析的过程放到离终端设备更近的地方，以保证数据数据处理的实时性，同时也减少数据传输的风险。
云边协同：其含义跟边缘计算相差不是很大，只是强调“云-边-端”这样的架构，终端负责全面感知，边缘负责局部的数据分析和推理，而云端则汇集所有边缘的感知数据、业务数据以及互联网数据，完成对行业以及跨行业的态势感知和分析。
3.华为云IoT数据分析优势
华为云物联网数据分析服务是针对物联网场景下的一站式数据开发平台，目的帮助物联网开发者低门槛的快速进行数据开发，发现数据背后的价值信息。
二、华为云IoT数据分析服务的介绍
1.行业背景
1.1 产业空间
2.2技术门槛
2.华为云IoT数据分析价值
三、华为云IoT数据分析服务核心功能
1. IoT数据源快速接入
2. 原始数据丰富的预处理能力
3. 分层存储,降低管理成本
4. 资产建模,构建IoT数据上下文
5. IoT时序数据处理功能增强
6. 流编排,降低流分析门槛
四、华为云IoT数据分析应用场景
1.应用场景
1.1 IoT数据能存能查，0编码。
1.2 IoT数据报表统计分析
1.3 企业OT数据治理,支撑构建企业级数据湖
2.应用案例
2.1 产线数字化
2.2 智慧仓储
五、华为云IoT数据分析服务使用指南
1.华为云IoT数据分析使用前提
产品页地址:https://www.huaweicloud.com/product/iotanalytics-platform.html
点击立即使用会进入控制台页面，首次登录会自动开通。
具体步骤有
- 配置数据源
- 创建数据管道
- 配置存储
- 资产建模
- 数据分析
- 结果导出
查看使用情况有
- 数据存储量
- 计算单元使 用情况
2.配置数据源
目前数据源支持
- IoTDA实时数据源
- DIS数据源
- DMS(kafka)数据源
- 离线数据源
- API数据源
2.1 IoTDA实时数据源为例
2.1.1 配置数据源
地址：https://console.huaweicloud.com/iotanalytics/?region=cn-north-4#/ng2app/data-manage
点击创建数据源-》提交
创建成功
1.通过添加数据源，为物联网数据分析服务提供数据
2.物联网数据分析服务支持多种数据源的配置(如IoTDA数据源，DIS数据源等)，请基于实际业务需要进行相应配置。
2.1.2 创建数据管道
地址：https://console.huaweicloud.com/iotanalytics/?region=cn-north-4#/ng2app/realtime-analysis/pipeline
点击创建管道
进行相应配置
配置完参数，点击启动
配置完成
1.通过创建数据管道，可以将第一步接入的数据源的数据进行流转控制，即流入到目的的存储中
2.如果需要，可以在数据管道中添加必要的清洗算子，对原始数据进行清洗
3.数据管道创建后，需要点击运行
2.1.3 配置存储
存储管理直接选择系统默认存储区，有需求可以自建
1.通过存储管理配置，您可以设置温冷存储的老化周期
2.可以创建多个存储组和存储，方便您分类管理设备数据
2.1.4 资产建模
地址：https://console.huaweicloud.com/iotanalytics/?region=cn-north-4#/ng2app/digital-twins/dt-models
新建模型
点击快速添加
1.通过创建模型，对同类的“物”进行数字抽象定义，比如为某类设备，某类产线等创建模型
2.在模型中，可以定义该类物的各种属性和分析任务
2.1.5 创建资产
资产建立完成会显示
1.将模型实例化的过程，就是创建资产的过程
2在创建资产的过程中，您需要将资产与物联网测量数据进行映射
2.1.6 数据分析
1.在模型的基础上，物联网数据分析服务提供多种分析能力，包括实时分析，时序分析和离线分析。基于业务需求，可创建相关的分析任务
2.实时分析相关步骤
1.创建作业：新建实时作业，定义作业名称和描述。
2.开发作业：按照业务诉求选择对应算子来编排成实时作业处理流程。
3.调测作业：对开发后的作业进行功能调测，以验证作业的功能是否满足业务预期。
4.运行作业：指定运行资源启动作业。启动后，可进行作业监控以及停止操作。
3.时序分析相关步骤
1.选择实例：实例是您做时序分析的对象，在模型管理界面创建视图和资产后，会自动同步到时序分析，您可以直接选择进行分析。
2.选择时间：您可以根据时间范围的设定，观察一段时间内时序数据的预降采样、插值、多维聚合计算、可视化查询结果。
3.图表分析：选择实例和时间后，会自动生成图表，您可以进行折线图、热力图、散点图等多种形式的对比分析。
4.离线分析相关步骤
1. 创建计算资源：购买离线分析所使用的计算资源（BCU），包括CPU和内存资源。
2. 作业开发：通过SQL交互式编辑器（或API）开发使用标准SQL语句开发数据分析作业，并提交作业执行。
3. 查询作业结果：通过SQL交互式编辑器（或API指定作业ID）查询相应的分析结果集。
总结
本文介绍了数据分析诞生的背景和华为云数据分析的诞生，和使用华为云数据分析的相关业务场景，还有实操了整个IoTDA模拟设备数据对接到数据分析平台的详细步骤。个人体验过后觉得华为云数据分析还是很不错，可以对接各种数据源，能把自己想要的数据源利用数据分析平台提取实际有价值的数据。
本文整理自华为云社区【内容共创】活动第12期。
查看活动详情：https://bbs.huaweicloud.com/blogs/325315
相关任务详情：任务27.初识华为云IoT数据分析
- 点赞
- 收藏
- 关注作者
评论（0）