JSON 备份限制 1000 条、1 MiB,为什么要分开检查?

举报
某酱 发表于 2026/11/16 11:25:55 2026/11/16
【摘要】 在阅读一个纯本地鸿蒙案例的文件迁移流程时,我注意到两个限制:单次导入最多 1000 条记录,文件大小不超过 1 MiB。两者看起来都在限制“大文件”,但实际约束的是不同问题。我用 Python 标准库写了一个独立的小示例,专门检查条数与 UTF-8 字节边界。示例只使用合成数据,不读取个人备份,也不调用云服务。它用于解释校验思路,不是对原案例源码的缺陷报告。一、1000 条不等于文件很小每条...

在阅读一个纯本地鸿蒙案例的文件迁移流程时,我注意到两个限制:单次导入最多 1000 条记录,文件大小不超过 1 MiB。两者看起来都在限制“大文件”,但实际约束的是不同问题。

我用 Python 标准库写了一个独立的小示例,专门检查条数与 UTF-8 字节边界。示例只使用合成数据,不读取个人备份,也不调用云服务。它用于解释校验思路,不是对原案例源码的缺陷报告。

一、1000 条不等于文件很小

每条记录的正文、字段数量和字符种类都不同。1000 条很短的英文记录可以很小,一条包含长文本的记录也可以超过大小上限。因此不能只数记录,也不能只限制文件大小。

对于真实文件,应该先在读取阶段限制可读大小,例如最多读取“上限加一字节”,再进行 UTF-8 解码和 JSON 解析。这样才能在解析前识别超限文件;解析成功后再检查顶层结构、条数以及每条数据的字段。

二、文件大小按字节计算,不按文字长度计算

Python 中的 len(text) 计算 Unicode 字符串的码点数量,而 len(text.encode('utf-8')) 才是编码后的字节数。例如:

len('中')                  # 1
len('中'.encode('utf-8'))  # 3
len('😀')                  # 1
len('😀'.encode('utf-8'))  # 4

这里的“1 个码点”也不一定等于界面上“1 个完整字符”:组合字符和部分 emoji 序列可能包含多个码点。文件大小校验直接使用原始字节,可以避免把这些概念混在一起。

1 MiB 是 1024 × 1024,也就是 1048576 字节。实现与提示文案应使用同一个定义,避免把 MiB 与十进制 MB 混用。

三、一个用于说明顺序的最小校验函数

import json
MAX_BYTES = 1024 * 1024
MAX_RECORDS = 1000
def validate(raw: bytes):
    if len(raw) > MAX_BYTES:
        raise ValueError('文件超过 1 MiB')
    data = json.loads(raw.decode('utf-8'))
    if not isinstance(data, list):
        raise ValueError('顶层必须是数组')
    if len(data) > MAX_RECORDS:
        raise ValueError('记录超过 1000 条')
    return data

这个例子只检查大小、UTF-8、JSON 结构和数组条数。真实应用还需要按自己的文件格式验证版本号、记录字段、字段类型、内容长度以及重复项,不能把“JSON 能解析”视为“业务数据有效”。

四、如何准确构造大小边界

测试“恰好 1 MiB”时,不要手工估算正文长度。最简单的合成 JSON 数组可以是一段 ASCII 字符串,外面的方括号和引号共占 4 字节:

at_limit = b'["' + b'a' * (MAX_BYTES - 4) + b'"]'
assert len(at_limit) == MAX_BYTES
validate(at_limit)
over_limit = b'["' + b'a' * (MAX_BYTES - 3) + b'"]'
assert len(over_limit) == MAX_BYTES + 1

两个样本都是语法正确的 JSON,所以后一份被拒绝时,可以明确归因于字节数超限,而不是同时触发 JSON 语法错误。这个构造仅用于测试文件大小,不代表业务允许这么长的一条记录。

五、这次独立示例实际检查了什么

我把以下情形分别写成了断言并运行:1000 条通过、1001 条拒绝;恰好 1 MiB 通过、超一字节拒绝;中文和 emoji 的 UTF-8 字节长度;空数组、非法 JSON、顶层不是数组以及非法 UTF-8。

空数组是否应该通过,属于业务选择。在这份最小示例中允许空数组;如果导入业务要求至少一条,就应增加相应规则和测试,不能直接照搬结论。

最后,校验与合并也要分开。导入时先校验并展示“新增、重复、无效”的数量,再由用户确认合并。这样既能说明为什么没有导入全部条目,也能避免只做到“读进来”却覆盖了原数据。

参考:Python json 模块文档 https://docs.python.org/3/library/json.html ;Python Unicode 指南 https://docs.python.org/3/howto/unicode.html 。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。