用 Python 实现华为云 OBS 大文件分段上传与断点续传
【摘要】 为什么需要分段上传单次 PUT 上传大文件时,网络抖动或超时会导致整个上传失败重来,耗时又耗流量。OBS 的分段上传把大文件切成多个 Part(除最后一块外每块 100KB~5GB),每块独立上传、失败只重传该块,最后合并成完整对象,是传大文件、弱网上传的标准做法。 三个步骤初始化分段上传:调用 initiateMultipartUpload,拿到 uploadId,并记录到本地(断点续传...
为什么需要分段上传
单次 PUT 上传大文件时,网络抖动或超时会导致整个上传失败重来,耗时又耗流量。OBS 的分段上传把大文件切成多个 Part(除最后一块外每块 100KB~5GB),每块独立上传、失败只重传该块,最后合并成完整对象,是传大文件、弱网上传的标准做法。
三个步骤
- 初始化分段上传:调用 initiateMultipartUpload,拿到 uploadId,并记录到本地(断点续传的关键)。
- 分段上传:按 5MB~100MB 切分文件,依次调用 uploadPart,partNumber 从 1 开始递增;保存每个分段返回的 ETag 和 partNumber,失败的分段单独重试。
- 合并分段:全部成功后调用 completeMultipartUpload,传入 uploadId 和按序号排序的 ETag 列表;不再需要则调用 abortMultipartUpload 清理,避免产生未完成分段的存储费用。
断点续传怎么做
续传时先调用 listParts,用已保存的 uploadId 查出已上传的分段,只补传缺失的分段,再合并。uploadId 和已传分段信息建议落盘保存,不要只放内存,否则进程退出就续不上了。
注意事项
- 分段大小建议 5MB 以上,过小会增加请求次数;单个对象最多 10000 个分段。
- 每个分段失败时只重试该分段,并做指数退避,不要从头重传整个文件。
- 上传完成后及时核对对象大小或 ETag;长期未完成的分段上传要及时清理。
- AK/SK 只放在服务端配置文件或环境变量中,不要写进代码,也不要提交到代码仓库。
小结
分段上传加本地记录 uploadId,就是一套可用的断点续传方案:初始化、逐块上传、合并三步走,配合失败重试和及时清理,大文件上传会稳定很多。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)