1       一句话介绍

大数据架构是对大数据平台整体结构和组件的抽象描述，指导系统各方面的实施。

2       大数据平台层次架构

• 数据平台层：负责数据采集、存储、处理。
• 数据服务层：负责开发数据服务接口、流程、服务。

数据服务层的主要作用是屏蔽底层数据库变动对业务系统的影响。例如因业务增加，底层需要分库分表时，业务层无需跟着变动，完全由数据服务层实现对底层数据的操作。

• 数据应用层：跟具体业务相关的数据应用。
• 数据管理层：负责数据管理以及系统管理。

3       传统数据架构

传统数据架构即BI系统架构，以CUBE为核心，支持多维度分析。缺点也很明显：

• 不支持非结构化数据
• TB/PB级别数据分析吃力

4       Lambda架构

数据通道分成实时流以及离线流的架构。

优点：

• 稳定。
• 实时计算与离线计算错峰调度。

缺点：

• 实时计算与离线计算计算框架不一致，导致计算结果不一致。
• 需要开发、运维两套程序，且两套程序内部处理模块冗余，运维成本高。

5       Kappa架构

以Kafka等消息队列代替数据通道，合并实时与离线数据流。依赖Kafka的消息回放实现历史数据离线处理（或将历史数据存储在数据湖）。

优点：

• 维护一套代码即可。
• 计算口径一致。

缺点：

• 回溯订正历史数据资源压力大

6       Unified架构（统一架构）

统一架构将机器学习与数据处理结合。在流处理层添加模型训练层。

7       参考

https://insights.thoughtworks.cn/common-big-data-infrastructure/

http://3ms.huawei.com/km/groups/3319023/blogs/details/10424867

https://cloud.tencent.com/developer/article/1769585

https://developer.aliyun.com/article/752406

https://www.jianshu.com/p/26cfed05d2c8