1. 用途和受众
1.1 预期用途
- 指导华为云上数据中台架构的设计和开发。
- 为售前、解决方案设计、实施和审查提供可重用的架构模式。
- 作为解决方案手册、交付包或实际部署的架构基础。
- 定义安全性、可靠性、性能、成本、运营和合规性护栏。
1.2 目标受众
| 观众 |
典型角色 |
预期用途 |
| 内部 |
架构师、开发人员、交付工程师、运营工程师
|
解决方案设计、审查、交付和实施 |
| 外部 |
客户、合作伙伴、ISV、开发人员
|
评估、实施、集成和操作 |
2. 参考架构概述
2.1 架构描述
通过DMS、DLI、DWS构建高性能、低成本的数据中台，满足ToB/ToC场景的数据查询需求。业务数据库通过Flink CDC实时将数据同步到Kafka，Flink从Kafka消费数据并处理后写入数仓存储（OBS），DWS的Data node将热数据加载到EVS上并创建索引，数据中台应用向DWS查询数据，业务应用通过API方式访问中台应用数据。
2.2 业务背景
| 项目 |
描述 |
| 业务问题 |
企业需要统一的数据中台，支持ToB/ToC场景下高性能、低成本的数据查询，解决数据孤岛和查询性能瓶颈问题 |
| 期望的结果 |
构建基于DWS的高性能数据中台，实现十亿级数据毫秒级查询，同时通过存算分离架构大幅降低成本 |
| 主要用户 |
ToB企业客户、ToC终端用户、数据中台应用开发者 |
| 关键制约因素 |
需要多AZ部署保障高可用；实时要求高场景下DWS扩缩容会有一定业务中断；敏感数据需先脱敏再写入DWS |
| 成功指标 |
十亿数据ms级查询响应；多AZ高可用部署；系统高峰期稳定运行 |
2.3 架构优点
| 优点 |
描述 |
| 极致性能 |
采用MPP分布式架构，支持十亿数据ms级查询 |
| 极致性价比 |
DWS采用存算分离架构，热数据按需加载到缓存，大幅降低成本 |
| 高可用部署 |
支持多AZ高可用部署 |
| 缓存削峰填谷 |
引入Kafka，降低高峰期对后端系统的压力，保证系统高可用 |
2.4 设计关注点
| 关注维度 |
描述 |
| 弹性/性能 |
需要多AZ部署；DWS在实时要求高场景扩缩容会有一定业务中断 |
| 安全 |
注入数据有敏感数据时需要先脱敏再写入DWS |
| 可靠性 |
需要多AZ部署；建议引入Kafka保证系统高可用 |
| 观测/运维 |
跟客户对齐监控指标后可对接到客户的统一告警平台；DWS缺少慢SQL分析、TopSQL导出，需要客户脚本定时导出 |
2.5 典型架构
典型架构图
2.6 流程描述
| 阶段 |
步骤 |
说明 |
| 数据同步 |
1 |
业务数据库通过Flink CDC实时将数据同步到Kafka中 |
| 数据预处理 |
2 |
Flink从Kafka消费数据后经过处理后写入数仓存储中（OBS） |
| 热数据加载 |
3 |
DWS的Data node将热数据加载到EVS上，并创建索引 |
| 数据查询 |
4 |
数据中台应用向DWS查询数据 |
| 数据访问 |
5 |
业务应用通过API的方式访问中台应用数据 |
2.7 云服务产品清单
| 分类 |
服务或产品 |
推荐配置 |
| 数据接入 |
DMS |
数据管理服务，用于数据接入管理 |
| 数据预处理 |
DLI |
数据湖探索服务，用于数据预处理 |
| 数仓 |
DWS |
数据仓库服务，MPP分布式架构，存算分离 |
| 监控运维 |
CES/LTS |
云监控服务/日志服务，用于监控和日志管理 |
| 安全审计 |
CTS |
云审计服务，用于安全审计 |
3. 参考链接
- 产品文档：
<URL>
- 实施指南：
<URL>
- 源代码或 IaC：
<URL>
- 操作手册：
<URL>
- 安全性和合规性映射：
<URL>
4. 使用限制
- DWS在实时要求高场景扩缩容会有一定业务中断，需在低峰期执行扩缩容操作。
- 注入数据有敏感数据时需要先脱敏再写入DWS，确保数据安全合规。
- DWS缺少慢SQL分析和TopSQL导出功能，需要客户脚本定时导出进行分析。
- 需要多AZ部署以保障系统高可用性。
附录 A. 术语和缩略语
| 术语 |
定义 |
| DWS |
华为云数据仓库服务（Data Warehouse Service），MPP分布式架构 |
| DMS |
华为云数据管理服务（Data Management Service） |
| DLI |
华为云数据湖探索服务（Data Lake Insight） |
| Flink CDC |
Flink Change Data Capture，实时数据变更捕获 |
| Kafka |
分布式消息队列，用于削峰填谷 |
| OBS |
华为云对象存储服务（Object Storage Service） |
| EVS |
华为云弹性云服务器（Elastic Volume Server） |
| MPP |
大规模并行处理（Massively Parallel Processing） |
| CES |
华为云监控服务（Cloud Eye Service） |
| LTS |
华为云日志服务（Log Tank Service） |
| CTS |
华为云审计服务（Cloud Trace Service） |
| AZ |
可用区（Availability Zone） |
| ToB |
面向企业客户 |
| ToC |
面向终端用户 |
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
典型架构图
评论（0）