服务日志压缩实测:gzip 九档与 brotli 五档的体积、耗时与选型边界
日志压缩几乎是每个后端服务都要做的事,但"用哪个算法、开几级"往往凭习惯:gzip 默认 6 级,或者干脆不压。下面这组数据来自一次真实压测,把 gzip 的 1–9 级与 brotli 的 1/4/6/9/11 档放在同一份语料上比了一遍,结论比想象中反直觉。
一、测试口径
语料是一份结构化的服务访问日志:5 万行 JSON,共 15.56 MB,平均每行 326 字节,字段包含 ts、level、trace_id、span_id、path、method、status、duration_ms、host、ua、msg。这种"高重复键名 + 高基数随机 ID"的混合结构,是线上日志最典型的形态,因此压缩率结论对多数业务日志都成立。
环境:Node.js v22.22.2,16 核,使用 zlib 内置的 gzip 与 brotli 实现。每个档位先预热一次,再连跑两次取均值,避免把一次性内存分配算进耗时。
二、gzip:3 级就是拐点
| 级别 | 压缩后 | 耗时 | 压缩比 |
|---|---|---|---|
| 1 | 2.42 MB | 96 ms | 15.54% |
| 3 | 2.23 MB | 75 ms | 14.34% |
| 6 | 2.07 MB | 128 ms | 13.33% |
| 9 | 1.99 MB | 243 ms | 12.81% |
从 1 级到 9 级,体积只从 15.54% 降到 12.81%,一共 2.7 个百分点;耗时却从 96 ms 涨到 243 ms。真正值得记住的是 3 级:75 ms 压到 14.34%,比 9 级只大 1.5 个百分点,CPU 却省下三分之二。6 级(2.07 MB / 128 ms)是另一个常用点,比 3 级多花 53 ms 换 1 个百分点。
对日志这种"写多读少、过期即删"的数据,3 级性价比最高;只有当带宽按 GB 计费、且压缩发生在独立线程时,才值得上 9 级。
三、brotli:q1 是免费的午餐,q11 是归档工具
| 档位 | 压缩后 | 耗时 | 压缩比 |
|---|---|---|---|
| q1 | 2.21 MB | 33 ms | 14.22% |
| q4 | 1.99 MB | 170 ms | 12.82% |
| q6 | 1.99 MB | 484 ms | 12.80% |
| q9 | 1.97 MB | 2453 ms | 12.67% |
| q11 | 1.61 MB | 41445 ms | 10.33% |
这张表有三条可用结论。
第一,brotli q1 用 33 ms 压到 14.22%,比 gzip 6 级快 3.9 倍、体积还小 0.9 个百分点。对在线日志管道来说,这几乎是零代价的升级。
第二,q4 是第二个拐点:1.99 MB / 170 ms / 12.82%,体积与 gzip 9 级持平,速度快 30%;而 q6 只再小 0.02 个百分点,耗时却翻到 484 ms。q4 到 q6 之间基本没有收益,q9 花 2.45 秒只换来 0.13 个百分点,属于纯浪费。
第三,q11 是另一个物种:1.61 MB / 10.33%,比 q4 再小 2.5 个百分点,代价是 41 445 ms。15.56 MB 用了 41 秒,折合单核 376 KB/s,压缩 100 GB 归档要三天以上。它只能出现在离线批处理里,绝不能进请求路径或实时写入链路。
四、分块压缩的代价可以忽略
日志通常按文件滚动落盘(每 1 MB 或按小时切分),逐块独立压缩会让跨块冗余失效,很多团队因此宁愿"攒大文件"再压。实测按 1 MB 切 16 块:gzip 6 级从 13.33% 变为 13.40%,brotli q4 从 12.82% 变为 12.95%,损失都在 0.15 个百分点以内。
所以完全可以放弃攒批,改成流式逐块压缩,把内存占用从 O(文件) 降到 O(块):
import zlib from "node:zlib";
const CHUNK = 1024 * 1024;
export function compressChunk(buf) {
return zlib.brotliCompressSync(buf, {
params: { [zlib.constants.BROTLI_PARAM_QUALITY]: 4 },
});
}
// 写入侧:每攒满 1MB 就压一块,文件名带序号,例如 app-20261111-0.br
// 读取侧:按序号顺序解压再拼接,不需要重新计算块边界
五、解压比压缩便宜一个数量级
同样 15.56 MB 语料,解压耗时:gzip 1 级 34 ms、6 级 30 ms,brotli q1 42 ms、q6 74 ms。换算下来 gzip 解压吞吐约 500 MB/s、brotli q6 约 210 MB/s,都只有压缩耗时的十分之一以下。
这条数据支撑两个决策。一是查询侧不必怕"解压太慢",可以放心把体积压到 13% 左右。二是解压开销和压缩档位几乎无关(gzip 1 级与 6 级解压一样快),所以选档位时只需要为"写"的成本负责,不必为"读"犹豫。
六、落地选型
- 实时链路、边写边压:brotli q1,33 ms 换 85.8% 的体积下降,是这份语料上单位 CPU 收益最高的点。
- 日常滚动归档:brotli q4 或 gzip 3,两者体积接近;前者省 CPU,后者兼容一切老工具(gunzip、zcat、logrotate 与各类采集 agent 都认)。
- 冷归档、一年查一次:brotli q11,但必须放离线批处理,并接受 376 KB/s 的单核速度。
- 需要被 zcat、grep -z 直接读的历史数据:坚持 gzip。brotli 要额外解压工具,运维成本比省下的 2 个百分点贵得多。
一句话总结:压缩档位不是"越高越好",而是在写入链路的延迟预算里,找体积曲线开始变平的那个点。在这份 326 字节/行的服务日志上,那个点是 gzip 3 级和 brotli q1、q4。
- 点赞
- 收藏
- 关注作者
评论(0)