用 Python 实现华为云 OBS 大文件分段上传与断点续传

举报
yd_289830645 发表于 2026/11/06 21:54:46 2026/11/06
【摘要】 为什么需要分段上传单次 PUT 上传大文件时,网络抖动或超时会导致整个上传失败重来,耗时又耗流量。OBS 的分段上传把大文件切成多个 Part(除最后一块外每块 100KB~5GB),每块独立上传、失败只重传该块,最后合并成完整对象,是传大文件、弱网上传的标准做法。 三个步骤初始化分段上传:调用 initiateMultipartUpload,拿到 uploadId,并记录到本地(断点续传...

为什么需要分段上传

单次 PUT 上传大文件时,网络抖动或超时会导致整个上传失败重来,耗时又耗流量。OBS 的分段上传把大文件切成多个 Part(除最后一块外每块 100KB~5GB),每块独立上传、失败只重传该块,最后合并成完整对象,是传大文件、弱网上传的标准做法。

三个步骤

  1. 初始化分段上传:调用 initiateMultipartUpload,拿到 uploadId,并记录到本地(断点续传的关键)。
  2. 分段上传:按 5MB~100MB 切分文件,依次调用 uploadPart,partNumber 从 1 开始递增;保存每个分段返回的 ETag 和 partNumber,失败的分段单独重试。
  3. 合并分段:全部成功后调用 completeMultipartUpload,传入 uploadId 和按序号排序的 ETag 列表;不再需要则调用 abortMultipartUpload 清理,避免产生未完成分段的存储费用。

断点续传怎么做

续传时先调用 listParts,用已保存的 uploadId 查出已上传的分段,只补传缺失的分段,再合并。uploadId 和已传分段信息建议落盘保存,不要只放内存,否则进程退出就续不上了。

注意事项

  • 分段大小建议 5MB 以上,过小会增加请求次数;单个对象最多 10000 个分段。
  • 每个分段失败时只重试该分段,并做指数退避,不要从头重传整个文件。
  • 上传完成后及时核对对象大小或 ETag;长期未完成的分段上传要及时清理。
  • AK/SK 只放在服务端配置文件或环境变量中,不要写进代码,也不要提交到代码仓库。

小结

分段上传加本地记录 uploadId,就是一套可用的断点续传方案:初始化、逐块上传、合并三步走,配合失败重试和及时清理,大文件上传会稳定很多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。