Gorilla 时序压缩实测:抖动 5ms 就让每点多花 1.25 字节

举报
yd_243452805 发表于 2026/11/17 08:58:03 2026/11/17
【摘要】 用纯 Python 复现 Gorilla 时序编码,在 20 万点、四类序列上实测:计数器与状态类数据只需 1.5~2.1 字节/点,噪声浮点却退化到 8 字节/点、甚至输给 gzip;采样抖动 ±5ms 就让时间戳从 1 位涨到 11 位/点,每点多花 1.25 字节。附分块索引成本与选型边界。

时序库为什么不用 gzip?把 16 字节的 (int64 时间戳, float64 值) 直接丢给 gzip,压缩比通常只有 2~3 倍;而 Gorilla 一类的专用编码在理想数据上能做到 1.5 字节/点,接近 10 倍。这个差距不是玄学,而是编码器是否"知道"数据是时间序列。我用纯 Python 实现了一版 Gorilla 编码器,在 20 万点、四类真实形态的序列上做了对照,结论比宣传口径复杂得多。

编码规则:两条流各管一半

Gorilla 把每点拆成两件事:时间戳用 delta-of-delta(DoD)编码,值用"与上一个值异或"编码。

时间戳:第一个点存 64 位绝对值,之后存 d_i - d_{i-1}(相邻间隔之差)。采样规则时 DoD 恒为 0,只需 1 bit;有抖动时 DoD 非零,要写符号位、桶号和有效位。我的实现按 DoD 绝对值分档 [0, 7, 9, 12, 32, 64] 位,非零时开销为 1 + 1 + 3 + 档宽。

值:xor = v_i ^ v_{i-1}。若 xor 为 0,写 1 bit;否则写 1,再用 6+6 位记录前导零个数 lz 与有效位长度,然后只写中间有效的那几位。如果本次的 lz/tz 落在上次的窗口内,就复用上次窗口,省掉 12 位头。

实测:四类序列,结论分叉

同一批时间戳(10 秒采样,±5ms 抖动),只换值序列,20 万点:

序列 总字节/点 时间戳位/点 值位/点 gzip-9 字节/点
温度,3 位小数缓变 8.07 11.0 53.58 6.34
请求计数,整数缓变 2.10 11.0 5.81 3.97
设备状态 0/1 1.50 11.0 1.01 3.96
全精度随机游走 8.02 11.0 53.19 11.31

三个值得注意的点:

第一,Gorilla 不是永远赢 gzip。温度序列每点 8.07 字节,反而输给 gzip 的 6.34。原因是值每点都在变,lz/tz 每次都不同,53 位里 12 位头基本白付;而 gzip 在字节层面能看到相邻 double 的高位字节几乎一样,用短距离匹配把这部分吃掉了。

第二,值的变化幅度决定一切。整数计数器每点只 ±1,异或后只有末尾几位非零,值部分 5.81 位就够;0/1 状态更极端,1.01 位。此时 gzip 反而要 4 字节/点——它无法表达"这个值和上一个值只差 1 个 ulp"。

第三,高熵数据上 Gorilla 优势最大。全精度随机游走 gzip 要 11.31 字节/点(比原始 16 字节省得有限),Gorilla 稳定在 8.02——因为它只编码差值,与数据的绝对熵无关。

时间戳:抖动的代价被严重低估

固定 10 秒采样,DoD 恒为 0,时间戳成本 1.0 位/点。把抖动调大:

采样抖动 时间戳位/点
0 ms 1.00
±5 ms 11.00
±50 ms 11.89
±500 ms 14.23
±5000 ms 23.62

仅仅 ±5ms 的抖动,就让时间戳从 1 位涨到 11 位,每点多 1.25 字节。这个量级和"值编码优化半天省下的 2 位"完全不在一个数量级。工程上的含义很直接:先治理采集侧的时间戳抖动,再谈压缩算法。如果设备端能对齐到整秒(或在写入前做时间戳归一),收益比换编码器大得多。

需要说明,我的实现用"显式符号位 + 3 位桶号",比原始论文的前缀码多约 2 位,换来实现和解码更简单;上面的绝对数字会略高于生产实现,但量级关系不变。

为什么还要分块

Gorilla 是顺序编码:想读第 100 万点,得从块头解到那里。所以实际系统(Prometheus、InfluxDB)都按 2 小时左右切块,块内顺序编码,块头记录起始时间与点数。本次 20 万点(约 23 天)的数据块,查最近 1 小时只需要 360 点,占总量 0.18%——解压成本可忽略;而 gzip 必须整块解压,随机查一个点要付全块代价。

选型建议

  • 指标类、计数器类、状态类数据:Gorilla 稳赢,2 字节/点以内,1 亿点约 210MB。
  • 高频抖动的传感器浮点:先做量化(保留 2~3 位小数)或做整数化,否则异或编码退化到 8 字节/点。
  • 归档冷数据、追求极限压缩比:列存 + gzip/zstd 仍更划算,尤其是块内重复度高的场景。
  • 别指望一个编码器通吃:同一套系统里,热数据用 Gorilla 保查询,冷数据用 zstd 保体积,才是常见做法。

代码与数据:编码器约 120 行,含位读写器、DoD 分档、XOR 窗口复用与解码回环校验(20 万点 roundtrip 完全一致),可直接复现上表。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。