ClickHouse 物化视图实战:埋点数据实时聚合的三个关键设计

举报
yd_219600272 发表于 2026/11/15 09:10:23 2026/11/15
【摘要】 埋点数据每天新增 20 亿条,业务方要的是「分钟级可以看到漏斗和留存」。第一版实现很朴素:Airflow 每 5 分钟跑一次 INSERT INTO ... SELECT 把最近 5 分钟的明细算成指标。一周后问题同时爆发:扫描量随调度频率线性增长,补数据重跑会重复写入,并且每次都要扫完整的时间窗口,CPU 打满三台机器。后来我们用物化视图重做了这条链路,下面三个设计点是最关键的。一、先把目...

埋点数据每天新增 20 亿条,业务方要的是「分钟级可以看到漏斗和留存」。第一版实现很朴素:Airflow 每 5 分钟跑一次 INSERT INTO ... SELECT 把最近 5 分钟的明细算成指标。一周后问题同时爆发:扫描量随调度频率线性增长,补数据重跑会重复写入,并且每次都要扫完整的时间窗口,CPU 打满三台机器。后来我们用物化视图重做了这条链路,下面三个设计点是最关键的。

一、先把目标表定成 AggregatingMergeTree

物化视图写入的是「中间状态」而不是结果值,所以目标表的字段必须是状态类型:去重人数用 uniqState(user_id),金额累加用 sumState(amount),分位数用 quantilesState(0.5, 0.9)(duration)。表的引擎写 AggregatingMergeTree,ORDER BY 用 (event_date, event_hour, funnel_step) 这种可合并的维度组合。这一步如果图省事用 SummingMergeTree + 普通数值字段,后面做漏斗去重时会发现人数被重复累加,只能全部重来。

二、物化视图只是 INSERT 触发器,不是缓存

很多人以为物化视图会定时刷新,其实在 ClickHouse 里它就是挂在源表上的一个 INSERT 触发器:只有新数据写入 events 时,它才对这一批数据执行 SELECT 并把状态写进目标表。因此历史数据不会被自动补齐,必须用 INSERT INTO target SELECT ... FROM events WHERE ... 手动回填,而且要先回填再创建视图,绝不能依赖 POPULATE —— POPULATE 期间写入的数据会永久丢失,这个坑线上很难发现。

三、查询侧统一用 -Merge 后缀,不要读原字段

状态字段读出来是二进制串,直接 SELECT 得到的是乱码。所有查询都要包一层:uniqMerge(user_state) 求去重人数,sumMerge(amount_state) 求金额,quantilesMerge(0.5, 0.9)(dur_state) 求分位数。再配合 GROUP BY 时间粒度和维度,分钟级、小时级、天级可以用同一张表算出来。为了兼容旧报表,我们在上面加了一个 DISTRIBUTED 视图,把 -Merge 逻辑封进去,业务方只写普通的 GROUP BY 就能用。

四、写入侧做一层缓冲,避免小批写入放大

埋点是客户端直传,天然是「高频小批」。物化视图对每个 INSERT block 都会执行一次,块太小会造成目标表产生大量小 part,后台 merge 跟不上。我们在中间加了一层 Kafka 表引擎 + 物化视图落本地表,把写入合并成每 3 秒一批,part 数量立刻从每天几万个降到一千以内。代价是可见延迟多了 3 秒,对分钟级看板完全无感。

五、上线后要盯的三个指标

第一是 system.parts 里目标表的活跃 part 数,超过 300 就要查写入批次;第二是 system.mutations 里是否有卡住的变更,加字段尽量用 ALTER ... ADD COLUMN 而不是重写;第三是查询侧的 read_rows,如果某天突然涨十倍,通常是有人漏写 WHERE event_date 导致全表扫描。把这三个指标接到告警上,比事后排查省事得多。

这套结构上线两个月,明细表 40 亿行,物化视图目标表只有 800 万行,分钟级漏斗查询稳定在 300 毫秒以内,机器从三台降到一台。物化视图不是银弹,它的本质是「把计算搬到写入侧」,只要接受这个前提,剩下的都是工程细节。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。