DuckDB 入门实战:本地分析、Parquet 与窗口函数

举报
yd_277255811 发表于 2026/11/18 08:17:14 2026/11/18
【摘要】 DuckDB 入门实战:本地分析、Parquet 与窗口函数一、为什么是 DuckDB很多数据分析任务的规模其实没那么大:几十 MB 到几个 GB 的 CSV 或 Parquet,想快速跑几组聚合、验证一个假设、给报表做抽样。为这种需求起 Spark 集群、配 Hive 元数据、写调度任务,成本远大于收益。DuckDB 是嵌入式分析型数据库,可以理解为"分析场景下的 SQLite":它以进程...

DuckDB 入门实战:本地分析、Parquet 与窗口函数

一、为什么是 DuckDB

很多数据分析任务的规模其实没那么大:几十 MB 到几个 GB 的 CSV 或 Parquet,想快速跑几组聚合、验证一个假设、给报表做抽样。为这种需求起 Spark 集群、配 Hive 元数据、写调度任务,成本远大于收益。

DuckDB 是嵌入式分析型数据库,可以理解为"分析场景下的 SQLite":它以进程内库的形式运行,没有服务端,不需要单独部署,一条 SQL 就能直接扫本地文件。它用列式存储和向量化执行,单节点上的聚合性能常常比 Pandas 更好,而且内存不够时会溢写到磁盘,不会因为数据稍大就 OOM。

它不替代生产数仓,但非常适合三类场景:本地探索性分析、数据管道中的转换环节、以及在应用进程里嵌入轻量查询能力。

二、安装与基本用法

Python 环境直接 pip install duckdb,命令行可以下载官方单文件二进制。最简示例:

import duckdb
con = duckdb.connect()
print(con.sql("select 42 as answer").fetchall())

connect() 不传参数使用内存数据库,进程结束数据就没了;传文件路径则创建持久化的 .duckdb 文件。分析的中间结果建议留在内存库里,避免频繁落盘。

查询结果默认返回 Python 元组列表,加 .df() 可以直接得到 Pandas DataFrame,加 .arrow() 得到 Arrow Table。这三个接口让它很容易嵌进现有数据栈。

三、直接查询 Parquet 与 CSV

DuckDB 最实用的能力是把文件当表查,不需要先导入:

select region, sum(amount) as revenue
from read_parquet('orders/*.parquet')
where order_date >= date '2026-01-01'
group by region
order by revenue desc;

几个细节值得记住。read_parquet 支持通配符和分区路径,文件名里含日期时可以用 hive_partitioning=true 自动把目录名变成列。CSV 用 read_csv_auto('data.csv'),它会自动推断类型和分隔符;文件很大时可以用 sample_size 控制推断采样量,或者显式写 columns 参数避免猜错。

读取多个文件时,union_by_name=true 允许各文件列顺序不同,按列名对齐。这个参数在拼接不同批次的导出文件时很省心。

如果查询结果要复用,写成 create table tmp as select ... 落到内存库;如果只是临时看一眼,直接 select 即可,DuckDB 会流式扫描,不会把整个文件读进内存。

四、与 Pandas 协作

DuckDB 可以直接把 DataFrame 当表引用:

import pandas as pd
df = pd.read_csv('users.csv')
duckdb.sql("select city, count(*) from df group by city").df()

这里的 df 是 Python 变量名,作用域内的对象会被自动注册。这带来一个很顺手的工作流:Pandas 负责数据清洗和类型处理,DuckDB 负责复杂聚合和窗口计算,最后 .df() 拿回结果继续画图或建模。

反过来也成立:con.register('events', pyarrow_table) 可以把 Arrow Table 注册成视图。相比反复 format 字符串拼 SQL,这种变量注入方式更安全,也更容易读。

五、窗口函数实战

窗口函数是分析里提升效率最大的一类语法,DuckDB 支持得很完整。假设要算每个用户的订单金额排名和环比:

select
  user_id,
  order_date,
  amount,
  sum(amount) over (partition by user_id order by order_date
                    rows between unbounded preceding and current row) as cumulative,
  lag(amount) over (partition by user_id order by order_date) as prev_amount,
  amount - lag(amount) over (partition by user_id order by order_date) as delta,
  row_number() over (partition by user_id order by amount desc) as rank_desc
from read_parquet('orders/*.parquet');

要点有两个。第一,partition by 决定分组边界,order by 决定窗口内的顺序;不写 rows 子句时默认用 range,遇到相同排序值会有不同的聚合行为,明确写 rows 更可控。第二,lag/lead 取不到值时返回 NULL,做差值计算时用 coalesce 处理首行,否则结果集里会混入空值。

另一个高频用法是去重取最新记录:先 row_number() over (partition by id order by updated_at desc),再在外层 where rn = 1。这比 group by 加 max 再自连接清晰得多。

六、性能要点

第一,优先用 Parquet 而不是 CSV。Parquet 是列式存储,带统计信息,DuckDB 能做谓词下推和列裁剪;同样的数据量大概率有数倍差距。

第二,把过滤条件写在 where 里,让优化器下推到文件扫描层。不要先 select * 到中间表再过滤,虽然优化器通常能合并,但涉及函数或 UDF 时未必。

第三,pragmatic 的做法是先看执行计划:explain analyze select ... 会显示各阶段耗时和扫描行数。如果发现扫描了远超预期的行数,多半是过滤条件没下推或者通配符匹配到了多余文件。

第四,设置 threads 控制并行度,设置 memory_limit 限制内存上限。默认会用满机器核心数,在共享机器上跑批时建议显式限制,避免影响其他任务。

第五,多文件查询时按日期分区目录组织数据,例如 dt=2026-11-17/part.parquet,配合 hive_partitioning 可以按分区裁剪,只扫描相关日期。

七、常见坑

第一,CSV 类型推断。order_id 这种看起来是数字但不应参与计算的字段,可能被推断成整数导致前导零丢失。用 read_csv(..., dtypes={'order_id': 'VARCHAR'}) 显式指定。

第二,时区。timestamp 和 timestamptz 行为不同,跨时区数据统一转成 UTC 再分析,展示时再转换,避免分组结果对不上。

第三,中文路径和文件名。Windows 上路径用正斜杠或双反斜杠,通配符匹配对中文目录一般没问题,但路径里有空格时要加引号。

第四,内存库的作用域。duckdb.sql() 用的是默认全局连接,而 con = duckdb.connect() 创建的是独立连接,两者注册的表互不可见。混用会出现 Catalog Error: Table with name xxx does not exist。

第五,并发写。DuckDB 适合单进程分析,多个进程同时写同一个 .duckdb 文件会冲突。需要并发写入时应该写 Parquet 文件落盘,再由一个进程统一读取。

八、小结

DuckDB 的定位很清晰:把 SQL 的分析能力放进本地进程,省掉为了几 GB 数据而搭分布式环境的时间。最值得掌握的三个能力是直读 Parquet、与 DataFrame 无缝互转、以及完整的窗口函数支持。

实际用起来建议遵循一个简单模式:数据先转成 Parquet 并按日期分区,探索阶段用内存库直接查文件,确认逻辑后再把 SQL 搬进定时任务或应用代码。这样既能享受交互式开发的快,又不会因为本地库和线上环境差异太大而返工。

如果你的日常分析长期停留在"几十万行、几张表、几个聚合",DuckDB 大概率能替掉一大半脚手架。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。