云链未来,存储无限:华为云IoT平台携手OBS,构建设备数据实时流转与长期归档新范式【零代码零硬件玩转华为云IoT】

举报
周周的奇妙编程 发表于 2024/03/31 17:43:19 2024/03/31
【摘要】 前言在前面我们已经体验过了设备接入和设备控制两块内容,分别深入理解了如何通过华为云IoT物联网平台(IoTDA)实现设备的高效接入与远程控制。设备接入阶段,我们借助设备模拟器快速熟悉了MQTT原生协议设备接入平台的流程,通过模拟器的客户端与平台服务交互,验证了设备消息发布与订阅的顺畅性,切实感受了华为云IoTDA在设备多样性与协议兼容性方面的强大实力,以及其对设备快速、安全、稳定接入云端的...

前言

在前面我们已经体验过了设备接入和设备控制两块内容(踏云而行:五步带你运用设备模拟器接入华为云IoT物联网平台云上一键,室温随心:体验未来式恒温空调云端调控,尽享个性化舒适生活),分别深入理解了如何通过华为云IoT物联网平台(IoTDA)实现设备的高效接入与远程控制。设备接入阶段,我们借助设备模拟器快速熟悉了MQTT原生协议设备接入平台的流程,通过模拟器的客户端与平台服务交互,验证了设备消息发布与订阅的顺畅性,切实感受了华为云IoTDA在设备多样性与协议兼容性方面的强大实力,以及其对设备快速、安全、稳定接入云端的支持。

设备控制环节,则以恒温空调为例,展示了设备接入平台后如何通过云端设置实现对设备的远程控制。我们借助设备影子技术,用户能够在应用侧或设备接入控制台预先设定空调的默认温度,即使空调当时处于未开机状态,一旦上电开机,即会按照预设的温度自动调节。这种云端设置设备影子的方式,使得无论设备身处何地,用户都能轻松调控其属性,实现了对物理设备状态的远程预设定与管理,极大提升了物联网设备使用的便利性与智能化程度。

现在,我们将继续探讨物联网平台在数据处理与长期存储方面的功能——数据转发至对象存储服务(OBS)进行长期保存。这一环节对于物联网系统而言至关重要,因为它关乎设备生成的海量数据如何得到有效管理和利用,进而转化为有价值的商业洞察与决策依据。让我们一起探究如何通过华为云IoT平台,将设备上报的数据智能、高效地转发至OBS,确保数据的持久安全存储,并为后续的数据分析奠定坚实基础。

对象存储服务 OBS

这里我们首先来了解一下关于OBS的详细内容。

产品简介

华为云对象存储服务(Object Storage Service,简称OBS)是一种基于互联网模式的海量、安全、高可靠、低成本的云存储服务。OBS专为应对大规模、非结构化数据存储挑战而设计,提供了一种灵活、易于扩展的存储解决方案,尤其适用于需要长期保留、随时访问且数据量持续增长的应用场景。

OBS无须预先分配存储空间,理论上可无限扩展,允许用户按需存储任意大小和数量的对象,无论是TB级还是PB级的数据,均能轻松承载。系统不设桶(Bucket)级别的总数据容量和单个对象(Object)数量限制,确保用户能够随业务增长无缝扩展存储规模。

产品地址:https://www.huaweicloud.com/product/obs.html

image.png

产品特性

稳定可靠

  • 数据持久性高达99.9999999999%(12个9)

  • 高可用存储服务,服务可用性SLA高达99.995%

超高性能

  • 千万级TPS、毫秒级响应,满足多种应用高并发、低时延访问诉求

  • 聚合小对象、多线程并行等技术,实现2.4Gb/s单流上传、下载

极简管理

  • 提供控制台、命令行工具、10+语言SDK等多种途径管理海量对象

  • 提供定时上传、数据生命周期管理、文件分享等能力,有效满足企业需求

  • 与CDN、数据工坊DWR、大数据MRS等集成,形成「存储 - 处理 - 治理」简单易用方案

  • 标准对象协议、文件POSIX多协议支持,提供文件Rename、追加写、修改写等能力

安全合规

  • 帐户、桶、对象、VPC等细粒度访问控制,灵活满足各种复杂业务场景

  • 传输加密、存储加密、完整性校验等能力,保障数据安全可靠

  • 数据加密、日志审计等,满足合规要求

image.png

产品规格

多种存储类型,满足用户数据分层存储诉求。

image.png

现有免费3个月的标准版试用服务,非常良心。

image.png

应用场景——智能视频监控

image.png

该场景是与本文的物联网数据转发至对象存储服务(OBS)非常类似的,所以这里就只单列出这一个来详细分析。

在本场景中,有一个基于物联网的数据转发系统,它将收集到的数据发送给对象存储服务(Object Storage Service, OBS)。这个过程涉及到多个组件和步骤。

首先,物联网设备会生成各种类型的数据,如传感器读数、视频流或图像等。这些数据通过网络连接被传输到一个中央处理点,通常是边缘计算节点或者云平台上的服务器。

在边缘计算节点上运行着一个数据预处理模块,它可以对原始数据进行清洗、转换和压缩等操作以减少带宽消耗并提高后续处理效率。经过预处理后,数据会被分发到不同的目标位置。

其中一部分数据直接进入OBS进行长期存储。这部分数据通常是一些需要长期保留的历史记录或者是用于分析用途的大规模数据集。为了确保数据的安全性和可靠性,OBS提供了多种冗余备份策略以及访问控制机制来保护用户隐私。

另一部分数据则被转发给其他业务应用系统进行实时处理和展示。例如,如果是一个智能安防场景,则可能需要将视频流实时推送到监控中心进行实时监控;如果是工业生产环境,则可能需要将传感器数据实时传送给生产线控制系统以便及时调整生产参数等等。

在这个过程中,负载均衡器(Load Balancer, ELB)起到了关键作用。它可以根据当前系统的负载情况自动分配请求流量到不同实例上,从而保证整个系统的稳定性和可用性。同时,弹性IP地址(Elastic IP Address, EIP)使得外部客户端能够通过固定的公网IP地址访问到内部资源,避免了由于实例重启或者其他原因导致的IP变化问题。

最后,所有这些操作都需要在一个安全可控的环境中进行。因此,我们需要使用虚拟私有云(Virtual Private Cloud, VPC)来构建一个隔离的网络空间,并通过安全组规则限制不必要的入站和出站流量。此外,还可以利用密钥管理服务(Key Management Service, KMS)为敏感信息提供加密保护。

通过合理地组合使用各种云计算产品和服务,我们可以轻松地搭建起一套高效可靠的解决方案来满足不同行业领域的需求,本文将数据转发至OBS长期储存只是该场景下的部分实践内容之一。

数据转发至OBS长期储存

对于设备上报的数据,可以选择让平台将设备上报数据推送给应用服务器,由应用服务器进行保存;还可以选择让平台将设备上报数据转发给对象存储服务(OBS),由OBS进行存储。本实践就是将所有设备上报的数据转发至OBS存储。

创建OBS桶

登录华为云官方网站,访问对象存储服务(https://www.huaweicloud.com/product/obs.html )。

点击免费试用按钮。

image.png

进入到如下界面(https://activity.huaweicloud.com/obs.html ),再次点击免费试用。

image.png

看到免费试用的产品如下:

image.png

点击第一个OBS标准单AZ存储包,立即购买,额,但是提示账号类型不对。。。仔细看了看是因为我有购买过认证所以给我加了社区等级,此处免费试用的要求是必须为v0用户。

image.png

那没办法了,回到上面的秒杀专区,购买第一个,但是注意此处是有限量的,每日30个额度

image.png

直接购买即可,注意,是存储包。

image.png

支付成功后如下图所示:

image.png

单击“进入控制台”进入对象存储服务管理控制台。

image.png

单击页面右上角的“创建桶”,根据需求选择桶规格后,单击“立即创建”。

  • 复制桶配置:如果之前已经有创建过桶的可以在这里选择后直接克隆一个对应属性相同的桶。(选择后可复制源桶的以下配置信息:区域 / 数据冗余策略 / 存储类别 / 桶策略 / 服务端加密 / 归档数据直读 / 企业项目 / 标签。)

  • 区域:由于刚才购买的桶服务是在华北-北京四,所以这里也直接选择到北京四,最好来说是推荐购买离自己所在地区比较近的。

  • 数据冗余存储策略:此时选择单AZ存储即可。单AZ存储是指单个可用区,多AZ存储是指多个可用区。

  • 默认存储类别:此处选择标准存储即可,主要区别见下表。

存储类别 应用场景 场景举例
标准存储 适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景。 大数据、移动应用、热点视频、社交图片、云应用、数据分享、内容分享。
低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景。与标准存储相比,低频访问存储有相同的数据持久性、吞吐量以及访问时延,且成本较低,但是可用性略低于标准存储。 文件同步/共享、企业备份、网盘应用、活跃归档、监控数据。
归档存储 适用于很少访问(平均一年访问一次)数据的业务场景。归档存储安全、持久且成本极低,可以用来替代磁带库。为了保持成本低廉,数据恢复时间可能长达数分钟到数小时不等。 档案数据、医疗影像、视频素材、带库替代。
深度归档存储(受限公测) 适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归档存储更低,但相应的数据恢复时间将更长,一般为数小时。 长期不访问的数据存档场景。

image.png

创建完成后可以看到如下界面:

image.png

至此,第一步创建创建OBS桶完成。

配置设备接入服务

接下来,我们实现在设备接入服务中创建产品模型、注册设备并设置数据转发规则,实现当设备上报数据时将数据转发至OBS。

访问设备接入服务(https://www.huaweicloud.com/product/iothub.html ),单击“管理控制台”进入设备接入控制台。

image.png

选择左侧导航栏的“规则>数据转发”,单击左上角的“创建规则”。

image.png

参考下表参数说明,填写规则内容。

参数名 参数说明
规则名称 自定义,如iotda-obs。
规则描述 自定义,如数据转发至OBS存储。
数据来源 选择“设备属性”。
触发事件 自动匹配“设备属性上报”。
资源空间 选择“所有资源空间”。

image.png

单击“设置转发目标”页签,单击“添加”,设置转发目标。

参数名 参数说明
转发目标 选择“对象存储服务(OBS)”
区域 选择OBS服务的所在区域。若未授权访问此区域的服务,请根据界面提示,配置云服务访问授权。
存储桶 选择要存储数据的桶。若没有,请前往OBS服务创建桶。

image.png

验证连通性

image.png

单击“启动规则”,激活配置好的数据转发规则,可以看到运行中的字样。

image.png

验证操作

登录OBS管理控制台,单击桶名称进入桶管理页面后,在“对象”页面可以查看到设备上报的数据。

image.png

再回到设置转发目标界面,点击测试。

image.png

选择模拟输入模板,再次点击连通性测试,此时可以看到发送成功的字样。

image.png

回到“对象”页面可以查看到最新上报的数据。

image.png

至此,实验结束,验证成功。

完成之后也可以清除桶,需要注意的是,删除桶前必须删除桶内的对象。

结语

通过对华为云对象存储服务(OBS)的深入了解与实践,我们见证了其作为强大、可靠、安全的云存储解决方案在物联网场景中扮演的关键角色。OBS凭借其高稳定性、高性能、易管理性以及严格的安全合规性,为海量物联网设备产生的数据提供了理想的长期存储环境,确保了数据的完整性和可用性,为后续的数据分析、挖掘和价值转化奠定了坚实基础。

在数据转发至OBS长期储存的实践中,我们亲历了从创建OBS桶到配置设备接入服务,再到验证数据转发流程的全过程。通过精心规划与细致操作,我们成功实现了设备数据的自动化、实时化转发至OBS,并能在OBS管理控制台中直观地查看到设备上报的实时数据,验证了数据存储的连通性和有效性。

这一过程不仅展示了华为云IoT平台与OBS服务之间无缝集成的能力,也体现了华为云在构建端到端物联网解决方案时对数据全生命周期管理的重视。从设备接入、数据处理到长期存储,华为云提供了一整套高效、易用的工具和服务,帮助企业简化物联网项目的部署与运维,加速数字化转型进程。

尤为重要的是,通过将物联网设备数据持久、安全地存储在OBS中,企业能够积累宝贵的原始数据资产,为后续的数据分析、机器学习、人工智能应用等高级数据处理活动提供丰富的数据资源。这些数据不仅有助于实时监控设备状态、优化设备性能,还能为企业决策提供数据驱动的洞察,助力产品研发创新、市场趋势预测、能耗管理优化等多元业务场景。

华为云IoT平台与OBS服务的结合,构建了一个从数据产生到数据消费的完整闭环,有力推动了物联网数据的价值最大化。

我正在参加【有奖征文 第29期】零代码零硬件玩转华为云IoT物联网平台多场景
链接:https://bbs.huaweicloud.com/blogs/423245 ,觉得内容不错的朋友帮忙点个赞鼓励一下~

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。