关于数据中台的深度思考与总结

数据中台

数据汇聚

数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。

数据采集工具

Canal、DataX、Sqoop

数据开发

数据开发模块主要面向开发人员、分析人员，提供离线、实时、算法开发工具。

离线开发

作业调度

•依赖调度：所有父作业运行完成后，当前作业才能开始运行。图64中的作业B，只有父作业A和C运行完成后，才能开始被调度。•时间调度：可指定作业的调度开始时间。图64中的作业B，只有到达05：00后才能开始被调度。

基线控制

在大数据离线作业中，作业执行时间较长，经常遇到急着用数据发现数据还没出来的情况。采用算法对作业完成时间进行智能预测，根据预测，当作业无法正常产出且动态调整无法完成时，调度中心会及时通过监控告警通知运维值班人员提前介入处理，为大数据作业执行留出充裕的时间。

异构存储

企业内部的存储计算引擎呈多元化趋势。离线开发中心针对每种类型的计算引擎会开

文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。

原文链接：wenyusuran.blog.csdn.net/article/details/106897710