Gorilla 时序压缩实测:抖动 5ms 就让每点多花 1.25 字节
时序库为什么不用 gzip?把 16 字节的 (int64 时间戳, float64 值) 直接丢给 gzip,压缩比通常只有 2~3 倍;而 Gorilla 一类的专用编码在理想数据上能做到 1.5 字节/点,接近 10 倍。这个差距不是玄学,而是编码器是否"知道"数据是时间序列。我用纯 Python 实现了一版 Gorilla 编码器,在 20 万点、四类真实形态的序列上做了对照,结论比宣传口径复杂得多。
编码规则:两条流各管一半
Gorilla 把每点拆成两件事:时间戳用 delta-of-delta(DoD)编码,值用"与上一个值异或"编码。
时间戳:第一个点存 64 位绝对值,之后存 d_i - d_{i-1}(相邻间隔之差)。采样规则时 DoD 恒为 0,只需 1 bit;有抖动时 DoD 非零,要写符号位、桶号和有效位。我的实现按 DoD 绝对值分档 [0, 7, 9, 12, 32, 64] 位,非零时开销为 1 + 1 + 3 + 档宽。
值:xor = v_i ^ v_{i-1}。若 xor 为 0,写 1 bit;否则写 1,再用 6+6 位记录前导零个数 lz 与有效位长度,然后只写中间有效的那几位。如果本次的 lz/tz 落在上次的窗口内,就复用上次窗口,省掉 12 位头。
实测:四类序列,结论分叉
同一批时间戳(10 秒采样,±5ms 抖动),只换值序列,20 万点:
| 序列 | 总字节/点 | 时间戳位/点 | 值位/点 | gzip-9 字节/点 |
|---|---|---|---|---|
| 温度,3 位小数缓变 | 8.07 | 11.0 | 53.58 | 6.34 |
| 请求计数,整数缓变 | 2.10 | 11.0 | 5.81 | 3.97 |
| 设备状态 0/1 | 1.50 | 11.0 | 1.01 | 3.96 |
| 全精度随机游走 | 8.02 | 11.0 | 53.19 | 11.31 |
三个值得注意的点:
第一,Gorilla 不是永远赢 gzip。温度序列每点 8.07 字节,反而输给 gzip 的 6.34。原因是值每点都在变,lz/tz 每次都不同,53 位里 12 位头基本白付;而 gzip 在字节层面能看到相邻 double 的高位字节几乎一样,用短距离匹配把这部分吃掉了。
第二,值的变化幅度决定一切。整数计数器每点只 ±1,异或后只有末尾几位非零,值部分 5.81 位就够;0/1 状态更极端,1.01 位。此时 gzip 反而要 4 字节/点——它无法表达"这个值和上一个值只差 1 个 ulp"。
第三,高熵数据上 Gorilla 优势最大。全精度随机游走 gzip 要 11.31 字节/点(比原始 16 字节省得有限),Gorilla 稳定在 8.02——因为它只编码差值,与数据的绝对熵无关。
时间戳:抖动的代价被严重低估
固定 10 秒采样,DoD 恒为 0,时间戳成本 1.0 位/点。把抖动调大:
| 采样抖动 | 时间戳位/点 |
|---|---|
| 0 ms | 1.00 |
| ±5 ms | 11.00 |
| ±50 ms | 11.89 |
| ±500 ms | 14.23 |
| ±5000 ms | 23.62 |
仅仅 ±5ms 的抖动,就让时间戳从 1 位涨到 11 位,每点多 1.25 字节。这个量级和"值编码优化半天省下的 2 位"完全不在一个数量级。工程上的含义很直接:先治理采集侧的时间戳抖动,再谈压缩算法。如果设备端能对齐到整秒(或在写入前做时间戳归一),收益比换编码器大得多。
需要说明,我的实现用"显式符号位 + 3 位桶号",比原始论文的前缀码多约 2 位,换来实现和解码更简单;上面的绝对数字会略高于生产实现,但量级关系不变。
为什么还要分块
Gorilla 是顺序编码:想读第 100 万点,得从块头解到那里。所以实际系统(Prometheus、InfluxDB)都按 2 小时左右切块,块内顺序编码,块头记录起始时间与点数。本次 20 万点(约 23 天)的数据块,查最近 1 小时只需要 360 点,占总量 0.18%——解压成本可忽略;而 gzip 必须整块解压,随机查一个点要付全块代价。
选型建议
- 指标类、计数器类、状态类数据:Gorilla 稳赢,2 字节/点以内,1 亿点约 210MB。
- 高频抖动的传感器浮点:先做量化(保留 2~3 位小数)或做整数化,否则异或编码退化到 8 字节/点。
- 归档冷数据、追求极限压缩比:列存 + gzip/zstd 仍更划算,尤其是块内重复度高的场景。
- 别指望一个编码器通吃:同一套系统里,热数据用 Gorilla 保查询,冷数据用 zstd 保体积,才是常见做法。
代码与数据:编码器约 120 行,含位读写器、DoD 分档、XOR 窗口复用与解码回环校验(20 万点 roundtrip 完全一致),可直接复现上表。
- 点赞
- 收藏
- 关注作者
评论(0)