解锁华为云新技能-AIOT开发全流程（4）【设备接入-ESP端侧数据收集[MQTT]-实时数据分析】（步步截图较详细）

实时数据分析

关于实时的数据分析，这里一般都没有现成的实时数据流，但是幸运的是华为云官方提供了三个Demo，可以登录在他们的IAM用户使用，将下面的3个账号中的一个依次填入到登录的IAM界面中
账号1
IoTAnalyticsDemo
IoTAnalyticsDemo1
IoTAnalyticsDemo
账号2
IoTAnalyticsDemo
IoTAnalyticsDemo2
IoTAnalyticsDemo
账号3
IoTAnalyticsDemo
IoTAnalyticsDemo3
IoTAnalyticsDemo

你需要退出自己的账号，然后回到原来的页面

上面三个账号随便一个都可以使用，都是官方提供的

还是和第一次的一样，点开产品，点IOT物联网，点IOT数据分析，然后点开始使用开始我们的开发工作。

你会进入到工作台中，

首先先了解一下整个数据分析的结构吧。
首先数据分析主要由以下的步骤组成：

1 、配置数据源
配置与IoT数据分析服务交互的外部数据源。
2、 创建数据管道
通过数据管道进行数据预处理和数据流控制。
3 、配置存储
完成老化策略配置，将数据导入存储。
4 、资产建模
基于业务述求，为物理对象创建出一个实时映射的数字镜像。
5 、数据分析
选择合适的数据分析方式，开启数据探索。
6 、结果导出
将分析结果导出并下载到本地，或转到第三方存储中。

用于做分析的数据源有以下的来源，可以根据实际的工业需求进行选择，这次演示用的IoTDA实时数据源做分析。
IoTDA实时数据源
DIS数据源
DMS(kafka)数据源
离线数据源
API数据源

这里详细说下IoTDA实时数据源，等会要用的呢

添加IoTDA实时数据源

操作步骤
1、访问并登录“IoT数据分析”服务控制台，点击“立即使用”。
2、在左侧导航栏选择“数据源>IoTDA实时数据源”，点击页面中“立即授权”按钮进行确认授权。以便后续IoTA服务与IoTDA服务能够互相访问租户数据。

3、确认授权后，点击“添加数据源”，输入数据源名称、在实例下拉列表中选择1个您名下的IoTDA设备接入服务实例、并在产品栏选择您需要把该IoTDA实例下哪些产品的数据上报到数据分析服务中，然后点击“确定”。

创建数据管道

1、访问并登录“IoT数据分析”服务控制台，点击“立即使用”。
2、在左侧导航栏选择“数据管理”，进入数据管道页面，在“管理列表”点击“创建数据管道”。

3、弹出“创建数据管道”对话框，您可自行填写“作业名称”、“描述”，并选择数据源

使用IoTDA数据源时，系统会自动读取该数据源的相关信息及相关的产品信息，生成作业执行流程，如图所示。

上图所示示例中，所选择的IoTDA数据源包含两种设备：烟感设备与水表，系统自动生成了两个处理分支，分别用于处理这两种设备上报的数据。

这两个分支各自以一个“产品过滤”算子作为起始点，分别过滤出这两种设备的数据，以便于各续处理流程仅处理某一种产品的数据，如图所示。

系统还自动根据这两种设备的产品信息（该产品信息以安全的方式从IoTDA获取），生成了默认的输出配置。

请用户自行选择存储组，并填写存储名称，补齐配置内容即可保存，如图所示。

处理流程-数据源配置、清洗与输出

数据源配置

1、IoTDA数据源
在画布上选中“IoT设备接入数据源”算子，在右侧配置面板处，可修改算子名称、选择数据源、填写事件时间字段路径、时间格式，如图。

2、DIS数据源配置
在画布上选中“DIS数据源”算子，在右侧配置面板处，可修改算子名称、选择数据源、填写事件时间字段路径、时间格式、时区，如图。

数据清洗

目前提供了产品过滤、增改属性类、删除属性类、过滤消息类、增加消息类、规约消息类几个类型的数据清洗算子。增加清洗步骤的操作方式为，在算子节点上点击右键，可以看到”向前”、”向后”两个菜单，如图所示：

接下来，以产品过滤、数据计算、选择属性、数据过滤、超时插补、数据聚合为例，分别介绍一下不同类型的算子配置。各个算子配置的详细说明请参考”算子使用指南”。

1、产品过滤
“产品过滤”仅可添加在“IoT设备接入数据源”算子后，因此，仅在“IoT设备接入数据源”算子上点击右键时，可以看到“产品过滤”算子。
添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

系统会根据所选择的产品，自动生成该算子的输出内容：

2、数据计算
按照表达式进行数值计算，计算的结果赋值给源属性。
添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

3、选择属性
在输入数据中选择保留的属性，未选择的属性被删除。当数据字段较多时，用户可使用该功能筛选出业务所关系的字段。
添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

使用该配置筛选出batteryLevel与batteryVoltage两个字段，因为后续处理流程仅使用这两个字段。

4、数据过滤
根据设置的条件过滤数据，满足条件的数据则输出，不满足条件的数据将被丢弃。
添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

使用该配置过滤出batteryLevel不等于0且batteryVoltage大于100的数据。
数据过滤算子不会修改数据输出，用户可展开“输出”项检查输出内容。

5、超时插补
提供基于时间的数据插补功能。时间支持延迟等待时长，以及指定固定时间点。插补数据为上一条实际数据，但是事件时间为插补计算出的时间。
添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

6、数据聚合
数据聚合算子,对数据流中的数据根据窗口周期进行汇聚计算。
添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

数据输出

将数据输出到IoTA的存储，以便进一步分析（资产建模、实时分析、时序分析、离线分析）使用。
用户可以配置算子名称、选择存储组、填写存储名称，并选择所需要的属性及属性类型等信息，如图所示：

运行数据管道

数据管道编辑完成后，作业状态会变为“就绪“态，如图所示：

“就绪”态的作业即可运行：在“管理列表页”点击作业卡片，进入“作业详情页”，然后点击右上角的红色按钮“启动作业“。

启动作业时，系统会自行判断用户的作业是否需要实时计算资源，若需要实时计算资源，则会弹出如下对话框供用户自行选择：

模型与资产

1、创建资产模型
点击“新建”，如下图1中①所示
输入模型名称、显示名称，点击确定，如下图1中②所示
图1 新增模型

2、添加属性信息
手动添加
点击手动添加，如下图1中①所示
输入名称、显示名称、选择属性类别、数据类型、属性值（指属性的默认值）、范围和单位，点击确定，如下图1中②所示；在单位定义时，系统已预置一系列常用单位，若无合适单位、用户可手动输入自定义单位。

快速添加

IoTA提供了快速批量添加属性的功能，用户可以将在存储管理中定义的物的各种属性快速引入到资产模型中，引用时需要指定存储位置，具体步骤如下：

点击快速添加，如下图2中①所示
选择数据存储，如下图2中②所示
输入范围，勾选要添加的属性，点击确定，如下图2中③所示。

3、添加分析任务
点击添加分析任务，如下图1中①所示
输入名称，选择类型，完成输入参数、表达式的定义，并把分析任务的输出映射到具体所需的属性后点击确定即可，如下图1中②所示；分析任务概念详细介绍请见分析任务定义。

1、创建资产
在资产管理页，点击“新建资产”，如下图1中①所示
输入名称，选择模型，点击确定，如下图1中②所示

数据分析

在进过了上面这么多步骤以后，就可以对数据进行分析了，根据不同的数据源有三种分析：实时分析、实时分析、离线分析：
1、实时分析
这里提供了丰富的IoT实时处理算子以及提供相应的编排开发IDE，适合用来一站式的开发、调测、部署、监控实时作业，可以满足IoT行业各种实时数据分析场景。
2、实时分析
针对IoT数据的显著时序特征，基于物联网资产模型提供海量时序数据的存储和多种时间维度的聚合计算能力，丰富的图表分析方式让数据规律清晰可见。
3、离线分析
通过标准 SQL开发数据分析任务，并轻松处理TB-EB级别海量数据，可在报表统计、设备行为分析等无需实时处理数据的场景使用。

接下里我们就用一个演示来把前面全部过程都贯穿一遍。