用 DuckDB 做本地 OLAP:5 亿行日志查询从 8 分钟压到 9 秒

举报
yd_219600272 发表于 2026/11/13 09:13:05 2026/11/13
【摘要】 以 5 亿行日志为例,讲清 DuckDB 本地 OLAP 的分区布局、查询下推与实测收益,并给出不适用的场景。

一、为什么把分析搬到本地

线上日志每天写入约 3 亿行,排查一个偶发问题时,最耗时的不是找原因,而是等查询。集群上的 ClickHouse 白天被报表占满,一条 GROUP BY 要排队十几分钟;把样本拉到本地用 pandas 处理,5000 万行就把 32G 内存吃穿。

真正的瓶颈不是算力,而是数据布局:行式存储在只读几列时要把整行都读进来,IO 放大几十倍。所以我把最近 7 天的日志导成本地 Parquet,用 DuckDB 直接查询,整个过程不依赖任何服务端。

二、把日志装进 DuckDB

DuckDB 是嵌入式列式引擎,一个文件、零运维,能直接对 Parquet/CSV 做 SQL 查询,并且自动做谓词下推和投影裁剪。导入时我按 dt=YYYY-MM-DD 分区写出 Parquet,每个文件约 300MB,这样后续查询可以整段跳过不相关的日期。

写入用 COPY 而不是逐条 INSERT:把清洗后的结果一次性 COPY 到分区目录,配合 ORDER BY (service, ts) 让同一服务的日志在物理上连续,后续按服务过滤时能少读很多 row group。写完记录每个文件的 min/max 统计,8 秒内就能判断某个分区是否可能命中。

三、查询重写:先把扫描量降下来

同样的 SQL,写法不同扫描量能差两个数量级。第一条原则是只选需要的列——Parquet 是列存,SELECT * 会把 40 多个字段全读出来;第二条是让过滤条件落在分区键上,dt 一定要写在 WHERE 里;第三条是把重复计算下推成预聚合。

验证手段是 EXPLAIN ANALYZE,重点看两个数字:扫描的行数和实际读取的字节数。如果扫描行数远大于返回行数,说明过滤没下推;如果读取字节数接近文件总大小,说明分区裁剪失效。我最初那条查询扫了 4800 万行,加上 dt 过滤和列裁剪后降到 190 万行。

四、实测结果

同一份 7 天数据、同一条统计 SQL:集群排队场景下平均 8 分 12 秒返回;本地 DuckDB 冷启动 9.3 秒,热查询 1.8 秒,峰值内存 1.4GB。差异主要来自扫描量从 42GB 降到 700MB,而不是引擎更快。

踩到的坑有三个:一是时间戳带时区时,dt 分区和 WHERE 条件必须用同一时区,否则裁剪直接失效;二是小文件太多会让并行度上不去,建议合并到单文件 200MB 以上;三是 DuckDB 默认线程数等于核数,和其他任务抢 CPU 时要显式 SET threads。

五、什么时候不该用它

DuckDB 适合「单机、只读、批量分析」,不适合高并发写入和行级更新。如果数据要实时入库、多人同时查、或者需要细粒度权限,仍然应该用 ClickHouse 或 PostgreSQL。

我现在的做法是分工:线上保留集群做实时看板和告警,本地用 DuckDB 做深度排查和临时分析,两边共用同一份 Parquet 定义。这样既不用为了偶发问题去抢集群资源,也不必把数据搬到一台更强的机器上。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。