从业务库到可视化大屏：用华为云 CDM + DWS + DLV 搭建实时数据链路

一、背景与痛点

• 今日订单量、GMV 实时走势
• 各品类销售占比
• 用户地域分布

1. 锁表风险：大查询扫全表，业务写入被阻塞
2. 查询慢：多表 JOIN + 时间聚合，动辄十几秒
3. 维度单一：MySQL 不适合做多维分析，Cube 展开困难

二、方案设计

MySQL（业务库）
   ↓ （定时全量/增量同步）
CDM（云数据迁移）
   ↓
DWS（数据仓库服务，OLAP 引擎）
   ↓ （SQL 聚合查询）
DLV（数据可视化）
   ↓
大屏展示

避坑点：DWS 是 OLAP 引擎，不要拿它当业务库用（高并发小事务性能不如 MySQL）。职责分离是关键。

三、实操步骤

3.1 准备 DWS 集群

1. 进入 DWS 控制台 → 创建集群
2. 节点类型选 dwsk2.xlarge（4U32G），3 节点起步
3. 数据库版本选最新稳定版（如 9.1.x）
4. 网络：与 MySQL 所在 VPC 打通（同 VPC 或对等连接）
5. 创建管理员用户 dbadmin，记录密码

-- 连接信息
-- Host: dws-cluster-xxxx.cn-north-4.dws.myhuaweicloud.com
-- Port: 8000
-- Database: postgres
-- User: dbadmin

SELECT version();  -- 验证连接

3.2 在 DWS 中建表

-- 维度表：商品
CREATE TABLE dim_product (
    product_id   BIGINT PRIMARY KEY,
    product_name VARCHAR(200),
    category     VARCHAR(50),
    brand        VARCHAR(50),
    price        DECIMAL(10,2)
)
DISTRIBUTE BY HASH(product_id);

-- 维度表：用户
CREATE TABLE dim_user (
    user_id   BIGINT PRIMARY KEY,
    city      VARCHAR(50),
    province  VARCHAR(50),
    reg_date  DATE
)
DISTRIBUTE BY HASH(user_id);

-- 事实表：订单
CREATE TABLE fact_order (
    order_id     BIGINT,
    user_id      BIGINT,
    product_id   BIGINT,
    order_amount DECIMAL(10,2),
    order_time   TIMESTAMP,
    status       SMALLINT
)
DISTRIBUTE BY HASH(user_id)
PARTITION BY RANGE (order_time)
(
    PARTITION p202601 START ('2026-01-01') END ('2026-04-01'),
    PARTITION p202602 START ('2026-04-01') END ('2026-07-01'),
    PARTITION p202603 START ('2026-07-01') END ('2026-10-01'),
    PARTITION p202604 START ('2026-10-01') END ('2027-01-01')
);

关键设计：DWS 中 DISTRIBUTE BY 决定数据分布方式，事实表通常用关联键做 Hash 分布，避免跨节点 JOIN 时的数据重分布。

3.3 配置 CDM 迁移任务

1. 进入 CDM 控制台 → 集群管理 → 创建集群（2U8G 足够）
2. 创建连接：
   • 源连接：MySQL，填写业务库地址、端口、用户名、密码
   • 目的连接：DWS，填写集群地址、端口、数据库名、用户名、密码
3. 创建迁移作业：

• 源表：order_db.fact_order
• 目的表：fact_order
• 迁移模式：全量
• 抽取并发数：4

• 迁移模式：增量
• 增量字段：order_time
• 调度周期：每 5 分钟执行一次
• 过滤条件：order_time >= ${last_execution_time}

避坑点：增量同步依赖时间戳字段，确保 MySQL 中该字段有索引，否则每次全表扫描会很慢。

3.4 在 DWS 中构建分析视图

-- 实时 GMV 和订单量
CREATE VIEW v_order_realtime AS
SELECT
    DATE_TRUNC('hour', order_time) AS hour,
    COUNT(*) AS order_count,
    SUM(order_amount) AS gmv
FROM fact_order
WHERE order_time >= CURRENT_DATE
GROUP BY DATE_TRUNC('hour', order_time);

-- 品类销售占比
CREATE VIEW v_category_sales AS
SELECT
    p.category,
    COUNT(*) AS order_count,
    SUM(f.order_amount) AS total_amount
FROM fact_order f
JOIN dim_product p ON f.product_id = p.product_id
WHERE f.order_time >= CURRENT_DATE - INTERVAL '7 days'
GROUP BY p.category;

-- 用户地域分布
CREATE VIEW v_user_region AS
SELECT
    u.province,
    COUNT(DISTINCT f.user_id) AS user_count,
    SUM(f.order_amount) AS total_amount
FROM fact_order f
JOIN dim_user u ON f.user_id = u.user_id
WHERE f.order_time >= CURRENT_DATE - INTERVAL '30 days'
GROUP BY u.province;

3.5 用 DLV 搭建可视化大屏

1. 进入 DLV 控制台 → 新建大屏
2. 选择模板：选「数据大屏」→「通用模板」
3. 添加数据源：选择 DWS，填写连接信息
4. 拖拽组件并绑定数据：

1. 配置自动刷新：每 60 秒刷新一次
2. 发布大屏，生成分享链接

配图建议：DLV 大屏编辑界面截图 + 最终大屏效果截图，社区对可视化类文章配图要求高。

四、验证结果

• 之前：运营在 MySQL 上跑报表，单次查询 15-30s，且影响下单
• 现在：大屏实时展示，查询走 DWS，MySQL 零压力

五、总结与可扩展

• 数据孤岛：业务数据集中到 DWS，统一分析口径
• 查询性能：OLAP 引擎 + 分区表，聚合查询秒级返回
• 决策效率：DLV 大屏实时展示，运营不用等报表

1. 实时流处理：引入 DIS（数据接入服务）+ CloudStream，实现秒级实时计算
2. 数据质量监控：用 DataArts Studio 做数据质量校验和告警
3. 多维分析：在 DWS 中构建星型模型，支持任意维度钻取
4. 历史归档：冷数据转 OBS 对象存储，降低 DWS 存储成本
5. 权限管控：通过 DWS 行级权限 + DLV 数据脱敏，保障数据安全