base64 只膨胀三分之一,不是翻倍
传文件前估大小,估错了
要把一批二进制内容塞进文本协议里传,得先估一下编码后涨多少。同事说 base64 会让体积翻倍,按两倍预留空间。我总觉得没那么夸张,就实测了几个尺寸,发现实际涨得比两倍少得多,倒是小数据上有个反直觉的现象。
从 1 字节到 3000 字节
import base64
for n in [1, 2, 3, 3000]:
enc = base64.b64encode(b"a" * n)
print("len %4d -> %4d ratio %.3f" % (n, len(enc), len(enc) / n))
输出:
len 1 -> 4 ratio 4.000
len 2 -> 4 ratio 2.000
len 3 -> 4 ratio 1.333
len 3000 -> 4000 ratio 1.333
单个字节编码后变成 4 个字符,看着确实是四倍;两个字节也是 4 个字符,两倍;到了三个字节和三千字节,都稳定在 1.333 倍。所以翻倍这个印象只对得上不足三字节的极小输入,数据一大完全不成立。
机制是三字节变四字符
base64 的做法是把输入按每三个字节一组切开,每组 24 位拆成四段、每段 6 位,每段映射到一个可打印字符。三字节进、四字符出,所以数据量足够大时,膨胀率收敛到四比三,也就是约 1.333 倍。
输入不足三字节的倍数时,末尾要补等号凑齐,这就是小数据上比例虚高的原因。一个字节补两个等号变成四字符,比例拉到 4;两个字节补一个等号,比例是 2。等号是填充,不携带信息,纯粹为了让长度是四的倍数。
正确的估算方式
预留空间按三分之四算:4/3 约等于 1.33,实际取 1.34 留点零头,别用 2:
import base64
raw = b"payload"
budget = len(base64.b64encode(raw))
print("raw:", len(raw), "encoded:", budget)
对大文件,直接按原始大小乘 1.34 估就很接近。要精确就真编一次取长度,代价是走一遍数据。真正会让估算翻车的是海量小对象:每个都不足三字节、都要补齐,膨胀率会远高于 1.333。
批量小对象才是隐藏成本
如果有成千上万个一字节、两字节的小值分别编码,每个都吃满填充,整体膨胀奔着两倍甚至四倍去。这种场景与其逐条编码,不如先拼接再编一次,让填充只发生在末尾一处。
另外换行也要算进去。base64.b64encode 本身不换行,3000 字节原样编出 4000 个字符;会换行的是 base64.encodebytes 和 MIME 那一套,每 76 个字符插一个,用 LF 时多出 1.32%,用 CRLF 时 2.63%。算带宽和存储空间时,这些零头积少成多。
传之前量一次最省心
我现在估 base64 开销,先看数据形态:连续大块就按四比三算,海量碎块就先考虑合并。印象里的翻倍来自小输入的极端比例,把它当成通用规律去预留空间,要么浪费一半带宽,要么在碎块场景又低估。
四比三这个数是实测出来的,比拍脑袋的倍数靠谱得多。
- 点赞
- 收藏
- 关注作者
评论(0)