解析:物联网数据分析服务如何做?

举报
大海中的宝塔 发表于 2020/06/22 16:52:06 2020/06/22
【摘要】 物联网设备正在产生大量的数据,如何为开发者提供简单有效的数据分析服务,简化开发过程,提升开发效率,让IoT数据快速变现是一个摆在我们面前的问题。

 我们需要怎样的物联网数据分析服务(一)

没有疑问,我们已经身处物联网时代了,每天都有数不清的各类物联网设备被连接起来,让我们可以以前所未有的视角重新观察和感知我们所处的这个物理世界。这个背后当然涉及到物联网技术的各个环节,比如如何将设备快速安全可靠的接入云端,如何管理这些设备,如何对源源不断采集到的数据进行合适的处理等等。而这篇博客我主要想分享下个人认为物联网的数据分析可能应该是什么样的。

 

我把物联网数据的特点和挑战归纳如下。我觉得最主要的4个特点是“大”,“小”,“高”,“低”。


”即物联网数据体量大,我们经常听到的一个经典的案例即GE发动机有成百上千个传感器,毫秒级频度产生各种数据。飞机的一次飞行就可以超过1TB的数据量。而在很多工业场景下产生的数据量可能会更大。

”即物联网数据的价值密度小,或者也可以理解为要从海量的数据中找到价值的信息是一个比较难的事情。

”即物联网数据时效性高,设备产生的数据流往往需要及时分析处理,随着时间的流逝,其价值会迅速降低。

”即物联网数据的质量通常较低,原因是多方面的,可能跟IoT设备自身能力有关,也可能是较苛刻的设备部署环境,也可能是网络传输问题等等,最终造成物联网数据容易出现丢失,异常,重复等问题。

                                               

  面对这些特点,造成了几个挑战:

1.     怎样尽可能的降低存储的成本,企业可能通常有要求存储好几年数据的述求,而IoT数据体量大,几年的存储量很可能是一个天文数字。那么如何能找到尽可能的低成本存储解决方案就是一个不能忽视的问题。

2.     怎样从价值密度低的物联网数据中充分挖掘和发现数据背后的价值,该采取怎样的有效分析方法?

3.     提升数据处理的时效性,在数据处理的各个环节都尽可能高效运转,比如数据接入,数据清洗,数据入库等。

4.     数据质量的评估和处理。如何判断质量的优劣,并且采取合适的方法改善数据质量?

   

要很好应对这些物联网数据分析的挑战,对于IoT数据应用开发者来说可能是有一定技术门槛的, 如果不是一个对公有云琳琅满目的相关大数据PaaS非常了解的开发者,很可能花了较长时间,而最终开发的解决方案较难满足业务的要求。这里面的原因除了开发者需要花比较大的学习成本掌握相关服务的特性外,还有一个根本原因是那些通用的大数据产品并未是专门针对IoT数据分析所提供的。

 

如何才能做好一个针对物联网场景的数据分析服务呢?个人觉得有如下几个要点:

 

1.     构建资产模型是充分“理解”物联网数据的基础

模型.png

IoT设备产生的数据有效组织起来,并按照业务所需构建模型,将是物联网数据分析中的重要一环,特别是复杂的场景更是如此。

 

2.     物联网数据处理的关键是对时序数据的处理

时序.png

3.     按数据时效性分层处理,获得综合处理效率最大化

分层.png

4.     针对物联网数据要有数据清洗的必要手段。传统的ETL工具主要是针对结构化数据的处理,而物联网数据主要是非结构化或半结构化的数据,并且对清洗的实时性要求一般较高。

清洗.png

因此需要找到适合物联网领域使用的数据清洗手段,我们理解该能力需要充分理解物的数据结构,即物模型,并且需要实时的清洗能力。

 

好了,下次再讲华为云IoT数据分析具体是怎么做的。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。