JSON 备份限制 1000 条、1 MiB,为什么要分开检查?
在阅读一个纯本地鸿蒙案例的文件迁移流程时,我注意到两个限制:单次导入最多 1000 条记录,文件大小不超过 1 MiB。两者看起来都在限制“大文件”,但实际约束的是不同问题。
我用 Python 标准库写了一个独立的小示例,专门检查条数与 UTF-8 字节边界。示例只使用合成数据,不读取个人备份,也不调用云服务。它用于解释校验思路,不是对原案例源码的缺陷报告。
一、1000 条不等于文件很小
每条记录的正文、字段数量和字符种类都不同。1000 条很短的英文记录可以很小,一条包含长文本的记录也可以超过大小上限。因此不能只数记录,也不能只限制文件大小。
对于真实文件,应该先在读取阶段限制可读大小,例如最多读取“上限加一字节”,再进行 UTF-8 解码和 JSON 解析。这样才能在解析前识别超限文件;解析成功后再检查顶层结构、条数以及每条数据的字段。
二、文件大小按字节计算,不按文字长度计算
Python 中的 len(text) 计算 Unicode 字符串的码点数量,而 len(text.encode('utf-8')) 才是编码后的字节数。例如:
len('中') # 1
len('中'.encode('utf-8')) # 3
len('😀') # 1
len('😀'.encode('utf-8')) # 4
这里的“1 个码点”也不一定等于界面上“1 个完整字符”:组合字符和部分 emoji 序列可能包含多个码点。文件大小校验直接使用原始字节,可以避免把这些概念混在一起。
1 MiB 是 1024 × 1024,也就是 1048576 字节。实现与提示文案应使用同一个定义,避免把 MiB 与十进制 MB 混用。
三、一个用于说明顺序的最小校验函数
import json
MAX_BYTES = 1024 * 1024 MAX_RECORDS = 1000
def validate(raw: bytes):
if len(raw) > MAX_BYTES:
raise ValueError('文件超过 1 MiB')
data = json.loads(raw.decode('utf-8'))
if not isinstance(data, list):
raise ValueError('顶层必须是数组')
if len(data) > MAX_RECORDS:
raise ValueError('记录超过 1000 条')
return data
这个例子只检查大小、UTF-8、JSON 结构和数组条数。真实应用还需要按自己的文件格式验证版本号、记录字段、字段类型、内容长度以及重复项,不能把“JSON 能解析”视为“业务数据有效”。
四、如何准确构造大小边界
测试“恰好 1 MiB”时,不要手工估算正文长度。最简单的合成 JSON 数组可以是一段 ASCII 字符串,外面的方括号和引号共占 4 字节:
at_limit = b'["' + b'a' * (MAX_BYTES - 4) + b'"]' assert len(at_limit) == MAX_BYTES validate(at_limit)
over_limit = b'["' + b'a' * (MAX_BYTES - 3) + b'"]' assert len(over_limit) == MAX_BYTES + 1
两个样本都是语法正确的 JSON,所以后一份被拒绝时,可以明确归因于字节数超限,而不是同时触发 JSON 语法错误。这个构造仅用于测试文件大小,不代表业务允许这么长的一条记录。
五、这次独立示例实际检查了什么
我把以下情形分别写成了断言并运行:1000 条通过、1001 条拒绝;恰好 1 MiB 通过、超一字节拒绝;中文和 emoji 的 UTF-8 字节长度;空数组、非法 JSON、顶层不是数组以及非法 UTF-8。
空数组是否应该通过,属于业务选择。在这份最小示例中允许空数组;如果导入业务要求至少一条,就应增加相应规则和测试,不能直接照搬结论。
最后,校验与合并也要分开。导入时先校验并展示“新增、重复、无效”的数量,再由用户确认合并。这样既能说明为什么没有导入全部条目,也能避免只做到“读进来”却覆盖了原数据。
参考:Python json 模块文档 https://docs.python.org/3/library/json.html ;Python Unicode 指南 https://docs.python.org/3/howto/unicode.html 。
- 点赞
- 收藏
- 关注作者
评论(0)