边缘云算法对比【玩转华为云】
1 简介
在边缘计算领域,AWS 和华为云都提供了针对计算任务分发和结果收集的解决方案。两者的实现方式和背后的架构都有其独特之处,并结合了分布式计算、任务调度、网络优化等多个方面。
华为云边缘计算服务(IoT Edge),在靠近物或数据源头的边缘侧,融合网络、计算、存储、应用核心能力的开放平台,就近提供计算和智能服务,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
2 任务分发和结果收集
对 AWS 云服务和华为云在边缘计算中如何实现计算任务分发、计算结果的分析:
- AWS 云服务中的边缘计算任务分发与结果分析
AWS 的边缘计算解决方案主要通过 AWS IoT Greengrass 和 AWS Lambda Edge 提供,结合了云到边缘的计算模型,适用于物联网设备、实时数据处理和边缘应用的部署。
任务分发和执行架构:
AWS IoT Greengrass:允许在边缘设备上部署和运行 Lambda 函数,通过 Greengrass 核心设备将任务下发到边缘设备上执行。Greengrass 使用一套 订阅模型,边缘设备订阅不同类型的数据主题,计算任务通过这些主题分发到具体的设备上。
AWS Lambda@Edge:允许在全球多个边缘节点运行无服务器的 Lambda 函数,尤其适用于内容交付网络(CDN)的任务分发。例如,AWS CloudFront 可以在请求到达边缘节点时,将计算任务分配到距离用户最近的 Lambda 函数中执行,从而减少延迟。
- 结果收集:
AWS IoT Greengrass 支持将计算结果通过 MQTT 或 HTTP 协议上传回 AWS IoT Core 或者直接发送到 AWS Lambda 进行进一步处理。
AWS Lambda@Edge:执行计算任务后的结果可以通过 CloudFront 直接返回给用户或上传到存储服务(如 S3),以便集中处理和分析。
aws云中值得关注的架构和算法:
分布式任务调度:AWS 通过边缘设备上的 Lambda 函数来实现分布式计算的调度,结合 Greengras的订阅发布机制,确保任务能够根据设备的状态、位置、负载等因素进行智能分发。
无服务器架构:通过 Lambda@Edge 提供的无服务器计算,可以动态扩展计算能力,适应不同的边缘负载。
网络优化算法:通过 CloudFront CDN 和 Lambda@Edge的结合,利用智能路由和全局负载均衡算法,将用户请求自动路由到最近的边缘节点,优化了任务分发的时延。
3 华为云的边缘计算任务分发与结果收集
华为云的边缘计算服务(如 华为云边缘计算服务 IEF 和 边缘智能 EI Edge)侧重于利用 MEC(移动边缘计算) 及 IoT 智能边缘 来处理计算任务,服务于物联网和 5G 场景。
任务分发和执行架构:
华为云边缘计算服务(IEF):通过边缘云节点将计算任务下发到设备,IEF 提供了一个任务分发与管理中心,可以根据任务类型、设备性能、网络状态等因素,将计算任务智能分发到合适的边缘设备上。
IEF 利用 Kubernetes 等容器化技术,支持容器化的应用和计算任务部署到边缘节点。
边缘智能 EI Edge:针对 AI 和深度学习场景,华为云的 EI Edge 提供了在边缘运行 AI 模型的能力。用户可以在云端训练好模型,然后通过 EI Edge 将这些模型下发到边缘设备,在边缘设备上执行推理任务。
结果收集:
IEF:边缘设备完成任务后,结果可以通过 MQTT、HTTP 或 WebSocket 协议上传到华为云 IoT 平台,或直接通过 5G网络回传给中心云进行处理。
EI Edge:执行 AI 推理后的结果可以通过 EI的数据流处理服务,将结果数据汇总到云端的数据库或存储系统,以进行进一步的数据分析和处理。
-
值得关注的架构和功能:
智能任务调度算法:
华为云的 IEF 通过 Kubernetes 提供的原生调度功能,结合自身的智能调度算法,可以根据边缘节点的计算资源、网络状态等动态调整任务分发,确保边缘节点的负载均衡和高效执行。
联合学习:
华为云在 EI Edge 提供了联合学习能力。边缘设备可以利用本地数据进行 AI 模型的训练,训练后的模型更新可以汇总到云端,通过联合学习框架汇总所有边缘设备的训练结果,更新全局模型。
边缘协同优化:
针对 5G MEC 场景,华为云利用边缘协同计算技术,实现多个边缘节点之间的任务分担和协作,减少单点负载,优化整个边缘网络的计算资源利用率。
节点纳管
IoT边缘(IoT Edge),是一组软件产品,需要部署到硬件上,实现边缘硬件与云端的协同管理。边缘节点就是边缘硬件在云端控制台的映射,通过云端控制台,可远程与节点进行通信、管理。
IoT边缘支持的操作系统有:Huawei Cloud EulerOS、CentOS、 Ubuntu、EulerOS、Debian、OpenEuler等。目前支持两种硬件规格,一种是容器化,一种是非容器化(进程化)。
模块部署
应用管理是IoT边缘提供的边缘应用管理能力,通过将系统预置的应用或用户自定义的应用部署到边缘节点,可在边侧进行协议解析、数据处理、本地子系统集成等能力拓展。
数采配置
IoT边缘提供基础服务、数采服务(资源包)两种类型的产品。其中,数采服务提供线下客户现场的数据采集交付服务,包含工业OT设备/系统数据采集服务、工业子系统数采服务、园区与城市子系统数采服务;如需数采服务,需单独购买数采服务资源包,不包含边缘硬件。
API和SDK
IoT边缘把自身丰富的能力通过API的形式对外开放,包括节点管理、设备管理、应用管理、应用版本管理、外部实体管理、模块管理、数据流转配置管理、数据源模板管理、数源管理、集成配置管理等,帮助用户快速构筑基于IoT边缘的行业应用。
华为云提供ModuleSDK,ModuleSDK是开发边缘运行应用(插件)所必须的工具包,提供数据处理、协议转换、IT子系统接入等功能,开发完成后,通过选择打包方式来决定是容器化部署还是进程化部署。
3. 华为云特点和优势
任务调度算法:
无论是 AWS 还是华为云,在任务分发和调度上都依赖于智能调度算法。以下是一些常用的调度算法和架构:
负载均衡算法:
如基于轮询(Round Robin)、加权最少连接(Weighted Least Connection)等调度算法,可以帮助在不同边缘节点之间均衡分布任务。
基于位置的调度:
特别是 AWS CloudFront 和Lambda@Edge,使用的是基于用户地理位置的智能调度算法,确保将任务分发到最靠近用户的边缘节点。
资源感知调度:
华为云 IEF的任务调度考虑了边缘节点的资源状况(CPU、内存等),动态调整任务的分配。
类似的资源感知调度算法在 Kubernetes 之类的容器管理系统中也广泛使用。
边缘协同算法:
边缘协同是近年来边缘计算的重要趋势之一。它的基本思想是多个边缘节点协同合作,共同完成计算任务:
边缘设备可以通过相互通信,分担任务,解决单一边缘设备无法处理的计算负载。
华为云在 MEC 场景中利用这一技术实现大规模的 5G 边缘协作。
联合学习:
通过边缘设备本地训练和模型汇聚,联邦学习能够在不传输数据的情况下实现分布式 AI 模型优化,这在隐私敏感的物联网和边缘 AI 场景中尤为重要。
5 总结
对比AWS 的边缘计算解决方案(如 AWS IoT Greengrass 和 Lambda@Edge)侧重于无服务器架构和全局负载均衡,通过边缘计算节点进行任务的智能分发和执行,尤其是在内容分发、IoT 以及无服务器计算领域具有优势。
华为云 的边缘计算解决方案(如 IEF 和 EI Edge)在 5G、MEC 和 AI 推理场景中提供了强大的计算能力,并结合 Kubernetes、容器化和联合学习等技术,提升了任务调度的智能性和边缘协同的效率。
在利用智能任务调度、网络优化和分布式计算框架来优化任务分发与结果收集,且这些技术在物联网、实时数据处理和 AI 场景中广泛应用,而华为云在5G网络AI推理,MEC,运维场景更具有特色。
- 点赞
- 收藏
- 关注作者
评论(0)