云计算的可信新边界:边缘计算与协同未来(下)
云原生与边缘计算
无论从边缘应用的分发,可靠性还是边云协同的机制上,云原生边缘计算有利于让边缘也具备像云一样的“弹性”,让应用可以“顺滑”的部署到边缘,保持应用在边缘与云端的一致性。“云-边-端”就像一个完美的整体,用户无需感知边缘设备的复杂分布。
通过将AI、大数据能力等延伸到边缘,解决与云上服务的数据协同、任务协同、管理协同、安全协同诉求。
通过数据本地化处理、边缘节点离线自治,解决了云边之间的网络可靠和带宽限制问题
通过大幅优化边缘组件的资源占用,解决边缘资源的约束问题
通过在云边之间构建的双向多路复用通道,解决从云端管理高度分布的海量节点和设备;
南向支持对接物联网主流通信协议(MQTT,Bluetooth,Zigbee),解决异构硬件接入问题。
传统嵌入式本地计算和云原生边缘计算的对比差异如下:
云原生EdgePaaS架构
作为云上边缘托管服务底座,支持海量边缘网关节点接入,深度融合IoT云端市场、云端FaaS、消息、运维等服务。通过容器化和K8s的调度能力,传统IoT业务拥有了强大的日志、监控、自动扩缩容等运维能力,并且运维能力在云中心汇聚。
阿里云将边缘计算当成云计算整体的一部分进行规划和设计,基于飞天系统构建。底层是资源层,上面是服务平台,既可部署在运营商基础互联网里,也可部署在客户侧。Link IoT Edge可让计算就近发生,是连接最后1公里的物联网边缘计算平台,支持包括函数计算、流式计算、规则计算等计算引擎。发布的连接最后10公里的边缘节点服务(ENS),帮助用户将计算、转发等业务下沉至边缘,降低了时延和成本。如可把终端到边缘节点的时延缩小到5毫秒之内,终端到云的访问频次将减少80%,计算、存储、网络等成本可节省30%以上。
云原生是一个大的体系,做到真正的边缘原生需要从理念、系统设计、架构设计等方面真正的去实践、实现,才能充分发挥边缘的优势。当然,边缘云平台也要具备和提供更多的开放能力,形成整个正向的开发生态闭环。
KubeEdge平台架构
华为云提出基于Kubernetes扩展的云边协同开源项目—KubeEdge, 在边缘计算领域的布局涉及“云、管、边、端、芯”。作为一个智能边缘平台,KubeEdge包含边端的计算节点部分和云端的管理控制部分,其云边协同体现在:
1)基于WebSocket和Quic协议构建了可靠、高效的云边消息通信,并作为云边控制协同、数据协同的通信基础;2)扩展了Kubernetes,实现云边协同编排管理,包括基于云端的边缘控制器 EdgeController等控制Kubernetes API服务器与边缘节点、应用和配置的状态同步,支持直接通过kubectl命令行在云端管理边缘节点、设备和应用;3)提供了DeviceTwin 模块,实现边缘计算节点下挂的边缘设备与云端设备管理之间的同步和控制。
KubeEdge即Kube+ Edge,使能边缘计算,依托K8s的容器编排和调度能力,实现云边协同、计算下沉、海量设备的平滑接入等,将K8s优势和云原生应用管理标准延伸到边缘。为云和边缘之间的网络,应用部署和元数据同步提供基础架构支持。技术架构上分为云、边、端三个部分,云端负责云上应用和配置的校验、下发,同步Edge的状态和事件;边缘侧负责运行边缘应用和管理接入设备,接受并执行Cloud部分下发的指令,管理各种负载;设备端侧运行各种边缘设备。KubeEdge完整的打通了边缘计算中云、边、设备协同的场景,整体架构如下图。
Edged: 管理边缘的容器化应用程序。
EdgeHub: 边缘的通信接口模块,是一个Web套接字客户端,负责边缘计算与云服务的交互。
CloudHub:云端通讯接口模块,一个Web套接字服务器,负责监视云端的更改、缓存以及向 EdgeHub发送消息。
EdgeController:管理边缘节点,是一个扩展的Kubernetes控制器,管理边缘节点和pod元数据,以便数据可以面向特定的边缘节点。
EventBus:使用MQTT处理内部边缘通信,是一个MQTT客户机,可与MQTT服务器交互,为其他组件提供发布和订阅功能。
DeviceTwin: 是处理设备元数据的设备软件镜像,该模块有助于处理设备状态并将其同步到云上。它还为应用程序提供查询接口,后端使用轻量级数据库(SQLite)。
MetaManager: 管理边缘节点上的元数据,是Edged和Edgehub之间的消息处理器,还负责在轻量级数据库(SQLite)中存储/检索元数据。
极致优化,All in K8s
由于边缘场景通信的不稳定性和严苛的资源消耗限制,导致原生的K8s组件无法直接运行在边缘节点上,例如:工业网关等。而受限于K8S本身list/watch机制带来的disconnect问题,数据面和管理面断连后,无法做到本地自治。KubeEdge选择“轻边缘”架构,即边缘侧的容器引擎和设备管理agent尽量轻量化,管理面运行在云端,且构建在K8s的调度能力之上,兼容K8S原生API。KubeEdge all in K8s的设计理念使得用户可以围绕K8S的标准API定制需求或轻松集成云原生生态中的成熟项目。
ServiceMesh到EdgeMesh
服务网格已演变为云原生堆栈的重要组成部分。在云原生模型中,单个应用程序可能包含数百个服务,每个服务可能有数千个实例,且这些实例中的每一个都可能处于不断变化的状态,合理管理使用ServiceMesh对于确保端到端的性能和可靠性至关重要。当纯粹的计算在边缘转向云边协同,以云原生的方式构建一个跨越边缘和云端的分布式系统至关重要:
边缘应用需要有完善的微服务治理能力,以满足日趋复杂的边缘业务模型;
边云、边边的协同成为边缘应用的基本要求,以满足海量边缘数据的处理。
使用EdgeMesh可支持跨越边界的微服务访问,EdgeMesh特性基于标准的Istio进行服务治理控制,引入EdgeMesh-proxy负责边缘侧流量转发以及P2P技术跨子网通信,提供云-边、边-边通信,最终实现跨越边云的一致的服务发现和访问体验。
边缘设备访问微服务化
Kubernetes提供的设备插件框架, 旨在通过Kubelet管理“绑定”在节点上的硬件,如:GPU、FPGAs、InfiniBand等,为Pod中的容器应用提供更强的计算和网络性能。而KubeEdge的设备管理关注的是与边缘通信的外部设备,如:蓝牙终端、智能传感器、工业设备等。KubeEdge对设备管理的实现采用Operator方式,并实现了设备孪生。设备管理Operator的核心是Device CRD和Device Controller,其中Device CRD用来描述设备的状态等元数据,Device Controller运行在云上,负责在云和边之间同步设备状态的更新(包括设备实际状态和用户设定的期望状态)。
云边通信
涵盖cloud端的cloud Hub与edge端的Edge Hub,两个模块之间通过websocket或quic通信,相当于建立了一条底层通信隧道,供k8s和其它应用通信。重点保障当之间的链路都无法保障时业务不受影响,这就是MetaManager需要解决的问题。
CloudHub
cloud端的cloudHub是一个隧道的server端,用于大量的edge端基于websocket或者quic协议连接。支持获取消息上下文和为事件构建 channelQ对象,支持从edge读和向edge写入消息,以及发布消息到controller。
EdgeHub
位于edge端运行,是隧道的client端,负责将接收到的信息转发到各edge端的模块处理;同时将来自个edge端模块的消息通过隧道发送到cloud端。
Route To Cloud / Edge
边缘端
Edged
通过读取metaManager和EdgeController的pod任务列表,来执行对本地pod的操作,管理其生命周期。pod关联的configmap和secret也会随着处理pod的过程而一并处理。保障cloud端下发的pod以及其对应的各种配置、存储(函数式计算)能在edge端稳定运行,并在异常之后提供自动检测、故障恢复等能力。
EventBus/ServiceBus/Mappper
设备相关的设备管理侧,支持外部以MQTT和Rest协议接入,对应EventBus和ServiceBus。EventBus是一个MQTT broker客户端,主要将edge端各模块通信的message与设备mapper上报到MQTT的event做转换;而ServiceBus对应Rest接入时的转换。IoT的各种设备可能直接支持MQTT,但有的只支持蓝牙或其他近场通信协议。Mappper可以实现将各种协议转换为对MQTT的订阅与发布,从而实现与edge端的通信。
Eventbus消息交换
Mapper Engine
为避免edge引入大量处理边缘设备通信代码,同时保持整个项目良好的易定制性,KubeEdge设计了一个边缘设备驱动统一管理引擎Mapper,一个用于连接和控制设备的应用程序,支持设备终端通过蓝牙、ModbusTCP、ModbusRTU协议与Edge平台通讯。Mapper作用如同CRI之于K8s,CRI作为Kubernetes定义的容器接口与底层容器引擎打交道,而Mapper作为一个开放接口方便不同的设备协议接入KubeEdge这个边缘计算平台。有了Mapper的解耦层,用户可方便地根据实际需要开发自己的Mapper来实现与特定设备的通信。
MetaManager
在edged和edgehub之间的消息处理器,对应一个本地数据库(SQLite),其他模块需与cloud端通信的内容都会被保存到本地DB中,当需查询数据时,如果本地DB中存在该数据就会从本地获取,避免了与cloud端之间频繁的网络交互;在网络中断的情况下,本地的缓存数据也能保障其稳定运行(如智能汽车进入到没有无线信号的隧道中),在通信恢复之后,重新同步数据。
示例:Insert Operation
DeviceTwin
“数字孪生”指对接入设备信息的特征描述。DeviceTwin就是将这些信息保存到本地DB中,并处理基于cloud端的操作来修改device的某些属性(即操作设备);同时,将设备基于eventBus上报的状态信息同步到本地DB和cloud端。
云端Controller
包括用于edge端与API-Server同步信息的edgeController与用于DeviceTwin与API-Server同步device CRD信息的deviceController组成。
Edge Controller
1) Sync add/update/delete event to edge
2) Sync watch and Update status of resource and events
3) Creates manager Interface
Manager defines the Interface of a manager, ConfigManager, Podmanager, secretmanager implements it
Manages OnAdd, OnUpdate and OnDelete events which will be updated to the respective edge node from the K8s-Api-server
Creates an eventManager(configMaps, pod, secrets)
Device Controller
负责设备管理,使用CRDs来描述设备元及状态信息,在edge和cloud之间保持同步。设备控制器使用设备模型和实例来执行设备管理工作,如把用户设定的设备孪生期望状态和配置下发到边缘,而在边缘的组件则要接收并处理这些信息。KubeEdge设备管理的工作流程如下图所示:
Downstream Controller
The downstream controller watches for device updates against the K8S API server, Synchronize the device updates from the cloud to the edge node.
Syncing Desired Device Twin Property Update From Cloud To Edge
The device controller watches device updates in the cloud and relays them to the edge node. These updates are stored locally by the device twin. The mapper gets these updates via the MQTT broker and operates on the device based on the updates.
Upstream Controller
The upstream controller watches for updates from the edge node and applies these updates against the API server in the cloud. Synchronize the device updates from the edge node to the cloud using device twin component.
Syncing Reported Device Twin Property Update From Edge To Cloud
EdgeSite: 边缘侧独立集群
在边缘测,业务场景需要配置一个独立完整的集群, 管理者或用户能使用本地控制面来执行管理功能和充分利用所有边缘计算的优势。EdgeSite用于帮助在边缘侧构建轻量化的集群。
Architecture Design
Advantages
1) Full control of Kubernetes cluster at edge
2) Light weight control plane and agent
3) Edge worker node autonomy in case of network disconnection/reconnection
4) All benefits of edge computing including latency, data locality, etc.
运维与监控
为提升运维效率,当边缘节点面临异常事件或故障时需及时响应,边缘节点与云监控产品对接,把边缘节点里采集到的日志和事件同步给云监控,由云监控形成与用户系统的标准化对接、通知、告警。同时用户系统可通过API管控边缘节点服务实例和资源,实现整个运维体系的闭环。云监控支持对节点网络事件、割接事件、实例状态和迁移的通知,支持节点网络MTR指标、实例资源占用指标等自定义阈值报警,并可通过IM、邮件、短信等通道触达用户,全面赋能边缘节点服务极简、高效运维。
应用场景及适应性分析
边缘计算、云计算与5G商用的融合,支持海量机器通信,促进以智慧城市、智能家居等为代表的典型应用场景与移动通信深度融合,正加速推动工业互联网、能源、自动驾驶、安防监控、农业生产、医疗保健、零售、物联网等领域相关技术在垂直行业中的应用和落地。对于大部分边缘计算业务,云边协同的业务需求普遍存在。
边缘计算主要应用场景
新零售应用
可为门店、物流点提供安防视频解决方案,低成本接入不同厂商设备,提供实时预览、录制回看、截图、分析等能力,实现了视频安防云联网,提高了工作效率,促进生产安全,减少盗损资产损失. 同时,边缘计算提供的视频AI计算能力,支持计算资源弹性扩容满足业务突发增长,降低大量本地部署、运维和管理成本。新零售场景下的视频监控,产生了大量的视频,通过边缘节点一系列处理后将结构化数据发送到中心,节约成本,大幅缩短处理时间.
移动互联网的发展让我们得以在移动端流畅的购物,我们的购物车以及相关操作都是依靠将数据上传到云中心才能得以实现。如果将购物车的相关数据和操作都下放到边缘结点进行,将极大提高响应速度,增强用户体验,通过减少延迟来提高人与系统的交互质量。
边缘计算与交通
设备连接到边缘节点,可以做数据的清洗分发,包括数据建模、机器学习,可以实现自己的应用。这个过程非常短且延时很低,直接网络相连。比如说收费、停车这类监控情况。
举个例子,比如现在需要AI的一个最新算法,是一个车辆预测的。在可能有1000个车辆预测的节点布了边缘节点,现在只要在云端把这个算法训练之后,一键同步到所有的边缘计算节点,可以立马更新算法,可以在最近的边缘节点做计算的更新,涉及多数据源的融合、实时的分析、集中管理包括数据打通。
车路协同是智慧交通的重要发展方向之一,涉及车内边缘计算、道路边缘计算、车路协同云等方面,云边协同可从多方面提供车车、车路动态实时信息交互,并开展车辆主动安全控制和道路协同管理。在自动驾驶方面,成千上万的自动驾驶数据上传到云端,在云端进行图像分析,并进行机器学习,完善汽车AI能力,当汽车停放或未被使用时,汽车AI从云端获取系统和导航地图等更新信息,同时云端与交通控制系统和其它智慧城市基础设施连接,这些信息也会同步下载到汽车终端,完善汽车终端系统。例如百度智能汽车通过基础云服务、用户APP、地图数据、OEM方案,打造HMI人机交互平台,提供自动驾驶系统解决方案。
在线教育场景
5G时代带来的是一场视频传输的革命,高质量视频通话使在线互动变得更加触手可及,能最大限度还原线下教学的真实感,同时更高清晰度的互动课堂中,教师可以对学生起到更好的观察和督促作用,使学习效率和效果双重提升。借助于云计算、边缘计算、实时音视频通信以及直播平台、AI等技术,不管学生在任何地点,只要有手机或电脑,在线教育平台就可以把最优秀的老师带来他的身边.
智能建筑、家居
智能网联技术的兴起,无论是办公室、零售店、工厂还是医院,智能建筑都变得更加高效、舒适、便捷,为居住者带来独特的体验。智能建筑将自动化操作与空间管理相结合,可有效增强用户体验、提高生产力、降低成本以及网络安全风险。建筑物生命周期中75% -80%的成本与其后期运营有关。现在很多商业住宅和办公大楼都有自动化控制或管理系统,例如通暖、中央空调以及嵌入传感器的智能照明系统等,它们都能与云平台或边缘层级的主系统交互。
云边融合正走入家庭,逐步促进智能家庭场景的实现。家庭网关、智能终端等边缘计算节点可处理大量异构数据,再将数据上传至云平台。在智能家居中除了可连接的设备,还可在房间、管道、地板、墙面等部署大量传感器和控制器。未来,智能家庭将不局限于智能家居,还能与家庭医疗、家庭安防等相结合。云边协同使电器控制、安全保护、视频监控、定时控制、环境检测、场景控制、可视对讲等家庭智能化功能得以实现,同时使政务、医疗、教育等产业进一步丰富家庭智能化信息服务成为可能。
智能安防、监控
视频安防监控中通过在边缘的视频预分析和AI推理执行,实现视频监控场景实时异常事件的感知及快速处理,而在云端发挥云端算力、开发工具的优势,完成AI模型的训练以及AI分析应用的开发并按需下发给边缘部署。边缘计算与AI、云计算的结合能在前端实现本地决策、实时响应,执行人脸识别、车牌识别、行为检测等多种本地应用。
工业互联网场景
工业互联网发展正进入快车道,通过设备互联、多类型传感器和边缘计算,实现数据采集、处理,达到云边协同式传输和处理效果,越来越多的工业互联网场景对云计算在边缘端的特殊需求逐步增多。针对预测性维护,除了云端的统一控制外,工业现场的边缘节点必须具备一定的算力,能够自主判断并解决问题,及时检测异常情况,更好的实现监控,在提升工厂运行效率的同时也能预防设备故障问题。企业通过边缘端将处理后的数据上传到云端进行存储、管理、态势感知、信息的融合;同时,云端也负责对数据传输监控和边缘设备使用进行管理。
一些大型工业企业已着手建设一站式云边协同平台。如海尔COSMO-Edge平台提供多元的边缘设备接入能力与边缘计算能力,提供设备即服务的应用模式,帮助用户快速构建工业互联网应用,实现数字化生产;长虹IMES平台在工厂网络边缘层实现工业现场的数据接入,提供数据采集、数据分析等服务,构建云-边协同化的生产管理体系。
移动边缘计算
MEC最初指移动边缘计算,后来概念扩展为多接入边缘计算。MEC是电信蜂窝网络与互联网深度融合的缩影,通过MEC可较好地降低移动设备与服务器之间的时延,提升游戏、视频和基于数据流的互联网内容的用户体验。5G架构从设计之初将边缘计算作为关键环节,5G时代业务处理功能依托边缘计算下沉到基站,数据传输时延可大幅降低。目前运营商正在加速推进MEC部署。
城市大脑场景
城市计算将会是边缘计算的最大场景,扎根于城市服务好本地应用,如社区、园区、运输中心、学校小区、商超、行政中心等,可充分发挥边缘计算的价值。未来城市将存在大量摄像头、传感器,如何把这些数据及时分析,对城市治理形成帮助是一个非常大的命题。比如在市政、交通场景中,把从学校、餐饮、医院的数千万摄像头采集的视频汇聚、传输到城市边缘计算平台,数据在边缘节点进行有效收敛、AI及结构化处理,关键性数据再回传到中心云。
计算下沉边缘的模式比直接上公有云可以很好节省回源带宽,相比专有云可以提升交付效率和降低运营成本。在某些典型场景中,网络带宽成本占的比例是占到57%,这是非常大的成本,经过边缘计算的数据收敛之后,带宽可以做到原来的5%,对总成本节省可以到54%。
解决交通、医疗、健康、新零售这类场景的业务诉求,有两种思路,一种把计算设施放在商超、工厂、企业里,这种为重资产模式;另外一种是云模式,把计算设施放在基站以上并向企业提供服务。阿里云在布局边缘计算的时候重点依托CDN的点位优势布局基站以上的边缘计算,后续通过引入MEC资源,充分释放计算红利,让企业可以轻装上阵。目前阿里云已完成国内30多个省份300+边缘计算节点的全域覆盖。
其它典型场景
能源:电力、石油石化等传统能源行业中,信息化接入设备多、信息量大、业务周期峰值明显,云计算技术的虚拟化、资源共享和弹性伸缩等能更好处理对象广泛及业务峰值问题。边缘计算能在偏远、极端环境下进行本地处理,并将加工后的高价值数据与云端交互。
农业生产:云边协同可推动农业供给端的变革,由经验主导向数据主导转变,通过智能化手段将人的经验传递给机器,通过数据挖掘,可发现新的生产规律和农业商品优化的新空间。
医疗保健:药师直接且负责任地提供与药物治疗相关的服务,目的是达到改善病人生命质量的确切效果,云边协同从实时本地数据分析、数据断点续传、数据安全传输等方面让医生为患者提供更快、更高的护理。
边缘AI: 未来设备无需一直连接云端来完成AI运算,实现“智能边缘计算”。边缘人工智能作为不可缺失的支撑技术将取代一部分云平台功能。亦可采用混合方式,一部分由设备自身执行AI计算,另一部分通过云平台完成。算法开发者通过标准化的AI服务模板,模型托管、资源托管、一键完成AI在边缘的应用。
云桌面、云游戏:也属本地化很强的业务场景。边缘计算可大幅降低企业平台在IT设施上的投入,简化运维管控。新时代的云游戏利用云边协同快速扩张,游戏研发、硬件设备商、通信设备商、游戏平台将基于自身优势从不同角度切入,实现万亿云游戏市场突破。
CDN 结合边缘计算:向下一代内容分发平台演进,将vCDN 下沉到运营商的边缘数据中心,降低响应时延、降低延迟卡顿,提升Qos指标,提高用户体验。
. . .
场景适应性分析
不同边缘计算系统具有不同的需求和均衡,决定了适合该应用场景的最佳形态。以下给出一组参数并分析了典型边缘计算平台在这组参数下的特点和性能。
1) 邻近度:边缘层与设备层之间的邻近度包含两层含义。一是逻辑上的邻近度,代表边缘层基础设施与终端设备之间的路由跳数,跳数越多代表路由中遭遇拥塞的机会越大,延迟增加的可能性也越大。二是指物理上的邻近度,取决于终端设备与边缘层的物理距离和边缘计算设备的性能。如果在单个边缘计算节点的一跳服务范围内,存在大量终端设备且已超过单个边缘计算节点的服务容量,将导致边缘计算设备拒绝服务,带来大量服务延迟。
2) 接入方式:设备到边缘层的连接方式有多种,如Wi-Fi、蓝牙、蜂窝网络和有线连接等。接入方式决定了终端设备到边缘计算层的带宽、延迟、连接范围以及对连接的设备类型。
3) 环境感知:是将网络参数和周围设备的位置信息暴露给附近的边缘节点,是物联网应用的一个关键参数。移动边缘计算服务器通过放置在无线网络控制器附近,实现检测网络的链路状况、负载以及带宽,接收终端设备的位置信息,因此其感知能力极强。
4) 功耗:如果终端设备处于资源受限的环境中,能耗将是边缘计算的一个重要参数。蜂窝网络带来的能量消耗远高于Wi-Fi的能量消耗,因此移动边缘计算的能量消耗高于Cloudlet。可以根据需求在多种接入方式中灵活选择,实现最优的能耗表现。
5) 计算时延和服务能力:直接取决边缘计算节点的计算能力和资源调度策略。移动边缘计算和Cloudlet采用资源丰富的专用主机作为服务节点,具有显著优势。EdgeX Foundry通过容器和GO语言的轻量级特性,兼容不同性能设备,并按需提供计算服务。
6) 部署与运维:在边缘计算平台的管理和监督中,每个平台均遵循分层管理方法,通常监督节点作为代理,负责与底层节点通信并收集底层节点可提供的资源和状态。但不同边缘计算平台在代理设置和分层的界定均有不同。
边缘计算的机遇与挑战
随着5G及互联网智能终端设备数量的急剧增加和数据、业务下沉的诉求增多,边缘计算规模和业务复杂度已发生很大变化,边缘智能、边缘实时计算、边缘分析等新型业务不断涌现。
边缘是一个相对云计算中心的概念,意味着边缘计算的网络覆盖面广,需要多种资源的协同工作,并且需要与云计算架构实现良好的对接,因而面临着众多挑战。
边缘设备种类多且数据协议相差大。比如Modbus、OP CUA包括DL645,在边端硬件规格不同,ARM的、X86的包括各种各样的AI盒子;体系结构也不同,整个的操作系统其实也不一,软件基础环境不同;还有物理环境,可能在家,工厂或随便某个地方;网络环境也会有大不同,边缘计算现运行环境大多为弱网环境,网络不稳定导致丢包,如何去兼容;通信协议多,怎么适配这些协议;公有云的能力如何快速跟边端打通,去保证边端的易用性,这个对架构是一个很大挑战。
对大规模资源平台的运营和运维支撑,将复杂度、稳定性等问题封装,实现上层业务透明化对边缘计算来讲也十分重要。边缘计算操作系统需解决计算在哪里、如何简化计算复杂度、如何更便捷地运维分布式计算资产等。开发人员只需简单调用接口,就可广泛地使用边缘计算策略,而不用担心部署和计算在哪里。
在高度分布式模型中,边缘计算潜在问题还很多。云边端协同需要解决中心云、边缘计算以及IoT连接和计算力的协同,发挥云中心规模化、边缘计算本地化与低成本、IoT终端感知等各方面优势,为客户提供最合适、最经济的“上车点”,即计算发生的位置。从云到端将云计算能力下沉到边缘侧、设备侧,通过中心统一交付、运维、管控,粘合云计算核心能力和边缘算力,在边缘基础设施之上构筑云计算平台,面临问题与挑战。
协 同 : 云边端协同缺少统一的交付、运维、管控标准。
异 构 : 对不同硬件架构、规格、通信协议的支持,以及基于异构资源、网络、规模等差异化提供标准统一的服务能力。
网 络 : 边缘网络的可靠性和带宽限制;
更 新 : 边缘计算要执行数据采集、程序更新、设备管理和监控、机器学习模型更新等高级功能,而且这些功能需要复制到所有边缘节点和集群,需要一定程度的自动化服务和工具来支撑。
管 理 : 传统数据中心使用的管理策略和实践通常不适用于边缘部署,边缘部署分布在多个位置,比传统数据中心更具动态性。承担这样一个系统的业务管理是一项复杂的任务。
架构及灾备:边缘计算需要小型化计算架构,云计算基本上可做到的单节点内几十万台机器之间灾备,边缘节点跨节点灾备是需要解决的不小问题。
成 本 :云提供可扩展性且易于配置,具有自动化和弹性,但在边缘提供这些特征昂贵且复杂。
安 全 :通过多个节点和设备将云和数据中心扩展到边缘,可能会成倍增加网络攻击面。不安全的设备和边缘节点,可能成为企业网中有价值资产的非法侵入点,或被用于其他恶意目的,如分布式拒绝服务攻击。边缘服务和数据的安全风险控制难度高,维护边缘层所有资产的实体和网络安全是一项复杂而关键的任务。
值得研究推进的方案
为使边缘计算能在参考框架指导下成功应用于各行业场景,以下对面对的挑战提出一些值得进一步研究的解决方案,涉及可编程、命名、数据抽象、服务管理、隐私和安全,及性能指标优化。
编程可行性
云有特定的编译平台,在云计算平台编程非常便捷,大部分程序都可在云上跑,云计算的基础设施结构对用户来说是透明的。但边缘计算下的编程就会面临平台异构问题,每一个网络的边缘都不一样,有可能是ios,安卓或者linux等,不同平台下的编程又是不同。计算任务分到各种不同平台的边缘节点上。不同节点运行时不同,程序开发者面临着巨大的困难。
为解决可编程性问题,提出了计算流的概念,计算流是数据传播路径上的函数序列/计算序列,可通过应用程序指定计算发生在数据传播路径中的哪个节点。计算流可以帮助用户确定应该完成哪些功能/计算,以及在计算发生后如何传播数据。通过部署计算流,数据的计算应尽可能靠近数据源,从而减少数据传输成本。在计算流中,操作可以重新分配,对应的数据和状态也要重新分配。此外还要解决协作问题,如数据同步等。
命名机制
每个物体都应有唯一的人类可读名字,便于服务管理、物体判断、部件更换。这种命名机制对于用户和服务提供者来说十分方便。与所有的计算机系统类似,在边缘计算中,命名方案对于编程、寻址、事物识别和数据通信非常重要,但还没有行之有效的数据处理方式。边缘计算的命名方案需要处理事物的移动性,动态的网络拓扑结构,隐私和安全保护,以及对于大量不确定物体的可扩展性等问题。传统命名机制如DNS、URI都不能很好解决动态的边缘网络的命名问题。目前提出的NDN解决此类问题也存有一定局限性。
数据抽象
在物联网异构环境中会有大量的数据生成,且生成的数据格式多种多样,数据格式化对边缘计算来说是一个挑战。边缘的大部分事务只是周期性的收集数据,定期发送给网关,而网关存储有限,因此边缘结点的数据会被经常刷新。利用集成的数据表来存储感兴趣的数据,表内结构可以用id、时间、名称、数据等来表示。数据可以被应用程序读写和操作,由于边缘设备的异构性,导致数据库的读写和操作会存在一定的问题,设备的多样性带来数据的呈现方式与相应的操作都会有所差异,找到一种通用的数据抽象方式也并非易事。
服务管理
边缘结点的服务管理应该有以下特征,包括可区分性、可扩展性、隔离性和可靠性。
可区分性:网络边缘上部署多个服务,不同服务应具有不同优先级,关键服务如物体判断和故障报警应在其它普通服务之前执行。对于健康相关服务,心跳停止检测应该具有最高优先级。
可扩展: 对于网络边缘来说是一个较大挑战。相对于移动系统,物联网中的物品都是动态的,向物联网中添加或删除一件物品都不是那么容易,服务缺少或增加一个新结点能否适应都是待解决的问题,这些问题可以通过设计一个灵活可扩展的服务管理层来解决。
隔离性:指不同的操作之间互不干扰。例如有多个应用可以控制家庭里面的灯光,控制灯光的数据是共享的,当某个应用程序不能响应时,使用其他应用程序依然能够控制灯光。也就是说这些应用程序之间相互独立,互相没有影响;隔离性还要求用户数据和第三方应用是隔离的,即应用不应能跟踪用户数据并记录,为解决该问题,应添加一种全新的应用访问用户数据的方式。
可靠性:可从服务、系统和数据三方面来阐述。服务方面,网络拓扑中任意节点的丢失都有可能导致服务不可用,如边缘系统能提前检测到具有高风险的节点那么就可避免。较好的一种实现方式是使用无线传感器网络来实时监测服务器集群。从系统角度来看,边缘操作系统是维护整个网络拓扑的重要一部分内容,节点之间能互通状态和诊断信息,这种特征使得在系统层面部署故障检测、节点替换、数据检测等十分方便。从数据角度,可靠性指数据在传感和通信方面可靠,边缘网络中的节点有可能会在不可靠时报告信息,比如当传感器处于电量不足的时候就极有可能导致传输的数据不可靠。为解决此类问题可能要提出新的协议来保证物联网在传输数据时的可靠性。如果数据和通信不可靠,提供可靠的服务将是一个挑战。
隐私和安全
在网络边缘,数据隐私和安全保护是一个重要服务。如果物联网应用部署在家庭中,用户的大量隐私数据会被收集,比如可以通过读取电量和水量使用数据判断家中是否有人。因此如何在不涉及隐私的情况下提供服务也是一个问题。有些隐私信息可以在处理数据之前剔除,例如遮蔽视频中的面部。为保证数据的私密性,可从以下方面来确保:
1,提高对数据隐私和安全的意识,所有的利益相关者包括服务提供者,系统和应用开发者以及终端用户都需要意识到用户隐私有可能会受到侵害。如果不加防护的话,摄像头,健康监测器甚至WIFI都可能被他人连接
2,在网络边缘处理数据,让数据留在产生数据的地方可以更好地保护隐私。这样数据只会在本地被存储、分析和处理,由用户决定是否提供给服务提供者。
3,对于不同的应用设置权限,对私密数据的访问加以限制。
4,边缘的网络是高度动态化的网络,易受攻击,不好防护。需要有效的工具保护各种数据在网络中的传输。
最优化指标
边缘计算中节点众多且不同节点的处理能力不同,因此在不同节点选择合适的调度策略非常重要。可以考虑在每层均匀分配负载或在每层完成尽可能多的任务,极端情况下完全在端点操作或完全在云端操作。为选择最佳的分配策略,下面讨论几个优化指标,包括延迟,带宽,能耗和成本。
延迟: 是衡量性能的最重要指标之一,特别是在交互式应用或服务中,延迟并不单由处理能力决定,也要结合数据在网路中传输的时间。在智能城市案例中,譬如要寻找丢失的小孩信息,在本地手机处理后把结果返回给云将明显加快响应速度。当然这种事情也有相对性,需要放一个逻辑判断层来判断把任务交给哪一个节点处理合适,如果此时手机正在处理其他重要的事情,由于手机的计算资源已被占用,此时把这种任务交给其他层次来处理会更好些。
带宽:高带宽可减少传输时间,但也意味着大量的资源浪费。数据在边缘处理有两种模式,一是数据在边缘完全处理结束后上传结果到云端;另一种是数据在边缘处理了一部分,剩下的部分交给云来处理。两种方式都能极大的改善网路带宽的现状,减少数据的传输,进而增强用户体验
能耗:对于给定任务,需判定在本地运算还是传输给其他节点计算节省资源。如本地空闲,那么在本地计算是最省资源的,如本地正在忙碌状态,那么把计算任务分给其他节点会更合适一些。权衡好计算消耗的能源和网络传输消耗的能源是一件非常重要的事情。一般当网络传输消耗的资源远小于在本地计算消耗时,会考虑使用边缘计算把计算任务卸载到其他空闲节点上,帮助实现负载均衡,保证每一个结点的高性能。
成本: 包括但不限于边缘结点的构建和维护、新型模型的开发等。利用边缘计算模型,大型服务提供商在处理相同工作的情况下能获取到更大利润。
工作分配与各衡量指标之间密切相关。 如有时由于能量限制,工作负载需要在城市数据中心完成。与构建服务器层相比,能量限制不可避免地会影响延迟。对于不同的工作负载,指标应该具有不同优先级(或权重),从而选择合理的分配策略。此外,成本分析需要在系统运行时进行,同时还应该考虑并发工作的相互干扰以及资源用量。
云原生技术的核心价值之一是通过统一的标准,实现在任何基础设施上提供和云上一致的功能和体验,云原生技术有助于实现云 - 边 - 端一体化的应用分发,解决在海量边、端设备上统一完成大规模应用交付、运维、管控的诉求;安全方面,云原生技术可提供容器等更加安全的工作负载运行环境,及流量控制、网络策略等能力,可有效提升边缘服务和边缘数据的安全性;依托云原生领域强大的社区和厂商支持,云原生技术对异构资源的适用性逐步提升,在物联网领域已能很好支持多种 CPU 架构(x86-64/arm/arm64)和通信协议,并实现较低的资源占用。
方向性探索及未来
工业互联网的大力推动及5G大规模商用的持续酝酿,让整个产业对IT、OT、CT的深度融合充满信心和期待,在这种背景下,边缘计算市场异常火爆。
什么业务适合在边缘
一类是终端算力上移的场景,借助5G带宽能力,把终端算力上移到边缘,具有更灵活、更经济的优势。第二类是本地化场景,无论低延时还是大连接,本地产生的大量数据需要及时消化,减少带宽成本,缩短传输时间。
阿里云定义边缘计算即城市计算,为城市提供算力基础。城市计算的场景涉及到道路计算(车路协同、交通监测)、公用事业计算(智能电网、智能环保)、消费计算(新零售、物流云)、安全计算(公共安全)和家庭计算(云游戏、VR/AR)等等。
什么业务适合部署在边缘主要还是从大流量、低延时、广覆盖、本地化这几个方面来规划,而系统平台可基于Edge容器化k8s,享受k8s技术生态环境带来的优势;对于底层基础设施不敏感,有较强的弹性伸缩需求,可使用Serverless层的边缘容器服务,极简运维,专注后台业务逻辑。
5G、边缘计算与云计算的互补结合,有望逐步培育出新的商业生态。
需要怎样的边缘计算
整体来看,企业所需的边缘计算要提供三方面能力,一是网络和资源的覆盖,保障海量边缘节点和弹性的基础设施来覆盖终端接入,二是提供边缘的基础算力,包括计算、存储、网络、安全、调度等一些基础能力,三是建立边缘远程运维体系,支持边缘应用的快速部署、升级和监控。
边缘计算不依赖于云端,弱网络条件下运行是基本功能,而数据处理能力成为新的关注点,边缘侧让物联网应用变得更加智能。物联网和AI 的深度结合成为新的趋势,边缘计算框架成为连接物联网和AI的桥梁。比如在无人机应用上,由于网络的不稳定而将图形识别能力部署在无人机上是一种可靠的选择,实现无人机智能化。在工业物联网的场合,终端接入数量过于庞大,且反馈实时性要求高,边缘计算成为工业互联网的非常重要组成部分。
业务决定把中心的哪些应用做下沉,哪些终端的能力做上移,来实现性能和成本最优解。业务架构的演进比较复杂,边缘计算平台的使命就是让事情变得简单,从而去加速5G时代的业务架构升级进程,孵化更多的创新应用。比如在云游戏这个场景下,把游戏的业务逻辑处理、数据处理以及画面渲染放在边缘,终端就不需太多配置和性能的要求,成本就可大大降低,这也是架构演进带来的突破和改变。
边缘融合的计算平台,融合是指在边缘的基础设施如MEC、IDC等资源上做融合。也有在计算形态、提供形式以及运维方面的融合。边缘节点服务需要满足业务的弹性,较强的突发需求应变能力,高资源利用率。需要DDoS防护、主机安全保障,应对软硬件故障对业务带来的稳定性风险。在提供高可靠性服务的同时可做到问题的秒级发现和处理,支持通过体系化、自动化的运维使工作效率大幅提升。
云边一体的架构会将边缘计算坚定在“云计算新边界”的理念之上。未来的IT架构必将朝着“云边端一体化协同“的方向发展,其中的核心就是边缘云原生。边缘计算新业务的开展也将和传统的中心云保持同步:Serverless、安全沙箱技术、函数计算等新的业务形态都将在边缘计算落地。
未来的边缘技术和形态
未来边缘云计算将是基于云计算的核心和边缘计算的能力,构筑在边缘基础设施之上的云计算平台。形成边缘位置的计算、网络、存储、安全等能力全面的弹性云平台,并与中心云和物联网、终端形成“云边端三体协同” 的端到端技术架构。将网络转发、存储、 计算,智能化数据分析等工作放在边缘处理,降低响应时延、带宽成本、减轻云端压力,并提供全网调度、算力分发等云服务。边缘计算将在三个方向发力:AI、IoT 与边缘计算的融合,云延伸;去中心化,设施自治,边缘托管; 5G 边缘计算引爆新增长。
推测未来的数据和计算20%发生在中心,80%发生在边缘,能在边缘处理的不会选择经过长的链路到中心。时延要求高的场景,比如自动驾驶就会优先被放在边缘。
边缘计算的发展前景广阔,被称为“人工智能的最后一公里”,但仍在发展,仍有许多问题需要解决。如框架的选用,通讯设备和协议的规范,终端设备的标识,更低延迟的需求等。未来,即便从基础设施的角度来讲,也将拥有更多基于互联网低延时、大带宽的应用场景和想象空间。
边缘计算算力其实有限,如量子计算和AI发展到一定程度,比如一个量子计算机就可为一个城市所有人去玩游戏做计算,可能有一天或许真的可以代替云的中心计算,因为在边缘就可以使用超强的计算。比如网络切片的技术,可根据不同应用来提供QoS,对网络要求不高的云的QoS服务质量就低,反之通过网络切片来提供高质量的网络服务。包括SDN, MEC边缘的多变接入,移动端、IP网络端、电视网络端,还有5G通信技术,最核心的智能芯片。
边缘计算未来的形态,像应用市场一样去使用边缘计算,比如视觉分析、语音识别、智能分析的算法、游戏、VR、视频、直播、虚拟工厂、虚拟公路、虚拟城市,包括存储、数据中间件这些能力,通过云中心连接且安装到你的家、你行驶的路上,你的影院,你的工厂包括世界各地的边缘节点,你只需选择你把能力放到哪里,一键就会放到那个地方,在那里为你提供计算服务。你的loT设备就可无需连接云中心,在边缘节点完成你所有后台,包括计算的能力。
边缘计算的落地和推进,将加速“新基建”各领域的进步。
云边协同,未来80% 计算发生在边缘。
边缘计算把云计算更靠近生活,服务生活,让计算更有温度 !
最 后
5G和云计算的商用化普及,及企业数字化转型催生了边缘计算, 成为云计算的新边界。边缘计算拓展了云计算边界,致力于将计算能力推进到应用和场景发生的最近距离,以此构建万物互联的基础。万物智联的时代需要低时延、大带宽、高并发和本地化,云、边、端三体协同是万物智联的基本形态,最佳的行业应用解决方案。
边缘计算横跨OT、IT、CT多领域,涉及网络联接、数据聚合、AI、芯片、传感、行业应用等多个产业链,帮助不同行业和厂商之间实现互通和互操作,被称为下一代互联网的一个重要技术。物联网和移动设备的普及改变了边缘在计算范式中的角色,边缘正从单纯的数据消费者向数据生产者及消费者转变。在网络边缘、在靠近数据源的地方进行计算和处理会更加高效。
当万物智联时代到来,当传感器、摄像头成为整个社会的眼睛,我们就能更好地通过眼睛去识别环境、回传信息、智能分析,实现更智慧的城市管理。这就好比一个人的眼睛看到一个物体后马上识别出来,之后再将结构化信息传回大脑,边缘计算即如此。
未来的生活需要边缘计算,不管你见或不见,边缘计算就在那里。
把数字带入每个人,每个家庭,每个组织,构建万物互联的智能世界 ...
5G已来,边缘已来. 边缘计算,无处不在 !
- 点赞
- 收藏
- 关注作者
评论(0)