分块计算文件摘要,避免大文件一次读入内存

举报
yd_293717408 发表于 2026/10/15 18:25:01 2026/10/15
【摘要】 校验下载文件或比较备份时,内容摘要比文件名更可靠。但 read_bytes 会把整个文件放进内存,对大型产物并不合适。分块更新摘要可以固定主要缓冲区大小。

校验下载文件或比较备份时,内容摘要比文件名更可靠。但 read_bytes 会把整个文件放进内存,对大型产物并不合适。分块更新摘要可以固定主要缓冲区大小。

实现思路

iter 配合哨兵值让读取循环在空字节串处结束。每个数据块只参与一次 update,得到的摘要与对全部字节一次计算相同;示例用断言验证这两条路径一致。

可运行示例

import hashlib
import io

content = b'example-data' * 1000
stream = io.BytesIO(content)
digest = hashlib.sha256()
for block in iter(lambda: stream.read(128), b''):
    digest.update(block)
assert digest.hexdigest() == hashlib.sha256(content).hexdigest()
assert len(digest.hexdigest()) == 64

将代码保存为 example.py,使用 Python 3.12 或更新版本运行。示例中的断言检查预期行为;可修改输入观察边界情况。

使用边界

SHA-256 摘要只能证明内容是否匹配已知值。若摘要本身也来自不可信来源,还需要可信发布渠道或签名。

参考文档

Python 标准库 hashlib:https://docs.python.org/3.12/library/hashlib.html

本文由 AI 辅助撰写,示例为独立教学代码。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。