分块计算文件摘要,避免大文件一次读入内存
【摘要】 校验下载文件或比较备份时,内容摘要比文件名更可靠。但 read_bytes 会把整个文件放进内存,对大型产物并不合适。分块更新摘要可以固定主要缓冲区大小。
校验下载文件或比较备份时,内容摘要比文件名更可靠。但 read_bytes 会把整个文件放进内存,对大型产物并不合适。分块更新摘要可以固定主要缓冲区大小。
实现思路
iter 配合哨兵值让读取循环在空字节串处结束。每个数据块只参与一次 update,得到的摘要与对全部字节一次计算相同;示例用断言验证这两条路径一致。
可运行示例
import hashlib
import io
content = b'example-data' * 1000
stream = io.BytesIO(content)
digest = hashlib.sha256()
for block in iter(lambda: stream.read(128), b''):
digest.update(block)
assert digest.hexdigest() == hashlib.sha256(content).hexdigest()
assert len(digest.hexdigest()) == 64
将代码保存为 example.py,使用 Python 3.12 或更新版本运行。示例中的断言检查预期行为;可修改输入观察边界情况。
使用边界
SHA-256 摘要只能证明内容是否匹配已知值。若摘要本身也来自不可信来源,还需要可信发布渠道或签名。
参考文档
Python 标准库 hashlib:https://docs.python.org/3.12/library/hashlib.html
本文由 AI 辅助撰写,示例为独立教学代码。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)