用 DuckDB 做本地 OLAP:5 亿行日志查询从 8 分钟压到 9 秒
一、为什么把分析搬到本地
线上日志每天写入约 3 亿行,排查一个偶发问题时,最耗时的不是找原因,而是等查询。集群上的 ClickHouse 白天被报表占满,一条 GROUP BY 要排队十几分钟;把样本拉到本地用 pandas 处理,5000 万行就把 32G 内存吃穿。
真正的瓶颈不是算力,而是数据布局:行式存储在只读几列时要把整行都读进来,IO 放大几十倍。所以我把最近 7 天的日志导成本地 Parquet,用 DuckDB 直接查询,整个过程不依赖任何服务端。
二、把日志装进 DuckDB
DuckDB 是嵌入式列式引擎,一个文件、零运维,能直接对 Parquet/CSV 做 SQL 查询,并且自动做谓词下推和投影裁剪。导入时我按 dt=YYYY-MM-DD 分区写出 Parquet,每个文件约 300MB,这样后续查询可以整段跳过不相关的日期。
写入用 COPY 而不是逐条 INSERT:把清洗后的结果一次性 COPY 到分区目录,配合 ORDER BY (service, ts) 让同一服务的日志在物理上连续,后续按服务过滤时能少读很多 row group。写完记录每个文件的 min/max 统计,8 秒内就能判断某个分区是否可能命中。
三、查询重写:先把扫描量降下来
同样的 SQL,写法不同扫描量能差两个数量级。第一条原则是只选需要的列——Parquet 是列存,SELECT * 会把 40 多个字段全读出来;第二条是让过滤条件落在分区键上,dt 一定要写在 WHERE 里;第三条是把重复计算下推成预聚合。
验证手段是 EXPLAIN ANALYZE,重点看两个数字:扫描的行数和实际读取的字节数。如果扫描行数远大于返回行数,说明过滤没下推;如果读取字节数接近文件总大小,说明分区裁剪失效。我最初那条查询扫了 4800 万行,加上 dt 过滤和列裁剪后降到 190 万行。
四、实测结果
同一份 7 天数据、同一条统计 SQL:集群排队场景下平均 8 分 12 秒返回;本地 DuckDB 冷启动 9.3 秒,热查询 1.8 秒,峰值内存 1.4GB。差异主要来自扫描量从 42GB 降到 700MB,而不是引擎更快。
踩到的坑有三个:一是时间戳带时区时,dt 分区和 WHERE 条件必须用同一时区,否则裁剪直接失效;二是小文件太多会让并行度上不去,建议合并到单文件 200MB 以上;三是 DuckDB 默认线程数等于核数,和其他任务抢 CPU 时要显式 SET threads。
五、什么时候不该用它
DuckDB 适合「单机、只读、批量分析」,不适合高并发写入和行级更新。如果数据要实时入库、多人同时查、或者需要细粒度权限,仍然应该用 ClickHouse 或 PostgreSQL。
我现在的做法是分工:线上保留集群做实时看板和告警,本地用 DuckDB 做深度排查和临时分析,两边共用同一份 Parquet 定义。这样既不用为了偶发问题去抢集群资源,也不必把数据搬到一台更强的机器上。
- 点赞
- 收藏
- 关注作者
评论(0)