DLI flink在边缘流计算上的实践（一）

引言：5G技术所带来的物联网浪潮将牵引新一轮的云计算能力变更，即将算力从云数据中心迁移到更靠近数据源的边缘节点，缩短数据的传输距离，降低带宽消耗和网络延迟，从而降低运行成本，提升服务的性能和可靠性。

     近些年来，在云计算领域我们能看到一些有趣的现象：一开始各大公司纷纷筹建自家的云计算服务，小公司纷纷将算力从本地数据中心迁移到各家云服务。原因很好理解，云计算厂家利用大规模的云算力调度摊平了成本，相较于自建数据中心，云计算更便宜，而且提供了更多易用的云服务以及统一运维能力。但后来大家发现花钱的大头转移了，从CPU变成了带宽，毕竟流量费还是很贵的。于是大家又开始琢磨着是不是可以将算力从云端挪到离数据源更近的地方，先在数据源端附近作计算，然后将结果再传回到云端，这样不就大大节省了带宽消耗的同时还能降低处理时延？

    这就是边缘计算。

    而5G技术的低时延特性无疑更大大提升了边缘计算的优势，想象一下一个场景，所有的路口摄像头，实时采集交通路况与违规信息，结合AI应用，本地实时计算完结果，通过5G回传到交管云数据中心，无疑能大大提升交通管理能力。

    而边缘计算通常有一个特点，数据源的数据产生是全天候不间断的。在上述的交管案例中，摄像头7*24h采集交通路况信息。很显然，面对这种场景，实时流计算框架Flink有了用武之地。

    各大云厂商近期也纷纷推出了自家的边缘流计算服务，作为华为云大数据服务的技术探索先锋，DLI服务当然不能落后，我们将于2.2.7版本推出边缘Flink的公测应用，希望您能喜欢。不过在此之前，请允许我先介绍下DLI flink在边缘计算方面的相关实践内容。

    首先我们需要明确边缘流计算的场景需求：

1. 统一管理，统一运维。服务端需要有统一的应用与作业管理功能，统一的运维平台提供基础监控和日志监控等能力；

2. 一套程序，多处部署。提供统一部署应用，供不同平台使用。

3. 节点自治，支持离线。边缘应用在网络异常时能够自治，保障服务高可用。

4. 异常恢复，自动重启。能够在应用异常自动重启，重启后能自动重新拉起作业。

    明确了场景需求后，DLI服务与华为云智能边缘平台服务IEF携手，结合IEF的边云通信与应用分发能力，通过在边缘节点上部署系统提供的流计算应用，将Flink计算能力从云端延伸到边缘。

    我们为客户提供的边缘Flink应用具有以下优势：

1. IEF平台统一支持边缘节点与应用的部署、管理，提供易用的边缘节点与应用的管理功能；

2. DLI服务支持Flink作业的统一管理与监控；

3. 提供x86&ARM双平台应用支持；

4. 容器化，支持应用异常重启，作业自动恢复；

5. 支持用户自定义Flink参数配置；

6. 支持用户自定义输入输出流；

7. 提供MySQL、gaussdb100维表支持；

8. 支持用户自定义UDF。

    下一节，将介绍DLI 边缘Flink应用的具体使用方法，敬请期待。