加油，用户名：hw97106730

看了一半课，感觉好硬核！

来了来了，参加北斗模块的IOT。

华为云ID：hw97106730:微认证：

华为云ID：hw97106730:大数据自测考试：

华为云ID：hw97106730大数据全栈第3阶段 第4章 打卡

华为云ID：hw97106730大数据全栈第3阶段 第3章 打卡

账号：hw97106730第三阶段 第四周笔记：1、       了解SparkStreaming的相关概念：         SparkStreaming是流式处理的计算模块。        SparkStreaming是准实时（秒、分钟）、微批次（）的数据处理框架。2、       SparkStreaming的原理：2.1        工作节点上设置长期运行任务的接收器，接收输入数据流。2.2        在StreamingContext用来处理所收到的spark作业，形成SparkContext，用来处理所收到的数据任务。2.3        布置工作节点处理工作任务，并在每个批次中输出结果。2.4        背压机制：可以通过动态控制数据接收速率来适配集群处理数据能力。根据JobScheduler 反馈作业执行信息来动态调整Receiver数据接收率。即采集速率与计算速率均衡发展3、       Kafka数据源：         3.1 Receiver API：需要专门的executer去接收数据，发给其他executer做计算。         3.2 Direct API：由计算的executer来主动消费Kafka的数据，速度由自身控制。4、       SparkStreaming的特点：         4.1 易用。         4.2 易整合到Spark体系。         4.3 容错。5、       Dstream：即离散化数据流，根据时间段封装数据流，每个时间段产生一个RDD。6、       Dstream转换：即有状态和无状态转换，有无状态就是本周期的结果是否需要保留，如果不需要就是无状态，如果需要保留与下个周期进行计算，就是有状态。7、       Dstream输出：通过print、save实现，注意数据不要丢失。8、       优雅关闭：判断当前环境的情况是否关闭

华为云账号：hw97106730第三天打卡：1、 公共事业物联网概念：公共事业指负责维持公共服务基础设施的事业，而组成的物联网。2、 目前公共事业常见问题：2.1 停车：  2.1.1 停车难；  2.1.2 低利用率；  2.1.3 停车场信息孤岛；2.2 路灯：  2.2.1 路灯未实现单灯控制；  2.2.2 巡检占用大量人力；  2.2.3 发现问题需要很长时间；  2.2.4 破损路灯有较大安全隐患；2.3 消防栓：  2.3.1 非法盗用消防栓用水；  2.3.2 擅自拆除、移动消防栓；  2.3.3 不发分子盗用消防栓；  2.3.4 消防栓监管难度大；2.4 井盖：  2.4.1 井盖丢失导致安全事故；  2.4.2 通信井盖下电缆被盗；  2.4.3 私自进行电缆穿线作业；2.5 水表：  2.5.1 现场抄表，人力成本高；  2.5.2 水损率高；  2.5.2 定位查损很困难；3、 公共事业物联网解决方案：3.1 智能停车：采用NB-IOT提供智能联结3.2 智能路灯：采用3GPP标准，集成简单，可靠性高；3.3 智能消防栓：安装报警装置，定时通过NB-IOT将信息传递至集控中心；3.4 智能井盖：通过传感器，将信息通过NB-IOT传递至平台；3.5 智能水表：水表信息通过NB-IOT上传到云端。

第2天提问在自动售货机案例实验中，根据实验手册实施，到DIS创建转储路径，发现不能转储到mapreduce系统中，找到路径以后，点击“立即创建”无效