小带宽服务器上的大文件下载与断点续传

举报
yd_298384739 发表于 2026/11/15 09:52:15 2026/11/15
【摘要】 手里有一台 2 Mbit/s 带宽的小规格云服务器,要拉一个 4 GiB 的系统镜像。按满速算也要四个多小时,中间 SSH 断一次、网络抖一下,下载就得从头再来。解决办法不是升级带宽,而是把断点续传、限速、校验、后台运行这四件事做对。下面是我在小带宽机器上实测过的做法。 一、先算一笔账:到底要下多久2 Mbit/s 的理论速度约 256 KiB/s,4 GiB 的文件大约需要 4.6 小时,...

手里有一台 2 Mbit/s 带宽的小规格云服务器,要拉一个 4 GiB 的系统镜像。按满速算也要四个多小时,中间 SSH 断一次、网络抖一下,下载就得从头再来。解决办法不是升级带宽,而是把断点续传、限速、校验、后台运行这四件事做对。下面是我在小带宽机器上实测过的做法。

一、先算一笔账:到底要下多久

2 Mbit/s 的理论速度约 256 KiB/s,4 GiB 的文件大约需要 4.6 小时,10 GiB 则要 11 小时以上。动手之前先测一下真实速度,别拿标称带宽做计划:

curl -r 0-10485759 -o /dev/null -w "平均速度:%{speed_download} Byte/s\n" https://mirrors.example.com/testfile.bin

-r 0-10485759 只取前 10 MiB 做测速,不会把整个文件拉下来。测出来的速度才是排计划的依据。

二、curl 断点续传:最顺手的办法

curl 的 -C - 会自动从已有文件的末尾继续下载,同一个命令反复执行就是续传:

curl -C - -O https://mirrors.example.com/ubuntu-24.04.iso

再加两个参数更稳:--retry 5 表示失败自动重试 5 次,--retry-delay 10 表示每次重试间隔 10 秒:

curl -C - --retry 5 --retry-delay 10 -O https://mirrors.example.com/ubuntu-24.04.iso

下载完成后一定要校验完整性,用发布方给出的 SHA256 值逐字符比对:

sha256sum ubuntu-24.04.iso

三、wget -c:简单直接

wget 的 -c 就是续传开关,--limit-rate 可以限速,--tries=0 表示无限重试:

wget -c --limit-rate=200k --tries=0 https://mirrors.example.com/ubuntu-24.04.iso

--limit-rate=200k 把速度压在 200 KiB/s 左右,给网站和业务留出带宽。注意限速单位是 KiB/s,200k 约等于 1.6 Mbit/s,2 Mbit/s 的机器留 400 Kbit/s 给业务基本够用。

四、aria2c:多连接加速

如果下载源支持多连接,aria2c 可以把一个文件拆成多段并行下载:

sudo apt install aria2 -y
aria2c -x 8 -s 8 --max-download-limit=200K -c https://mirrors.example.com/ubuntu-24.04.iso

-x 8 是每个服务器最多 8 个连接,-s 8 是把文件拆成 8 段,-c 同样是断点续传。提醒一句:不是所有服务器都支持多连接,有的会限流甚至封 IP,第一次先用 -x 1 试一下,没问题再加连接数。

五、下不完就分片:split 与 rsync

有些大文件提供方本身就做了分片,比如每 500 MiB 一个包,逐个下载再合并:

cat part_* > ubuntu-24.04.iso
sha256sum ubuntu-24.04.iso

自己传文件则用 rsync,-P 自带断点续传和进度显示,--bwlimit 限速:

rsync -avP --bwlimit=200 user@192.0.2.10:/data/bigfile.tar.gz ./

--bwlimit=200 的单位是 KiB/s,和 wget 的限速保持一致,方便统一管理。

六、放后台慢慢跑:nohup 与 tmux

大文件下载动辄几小时,不能让 SSH 会话一直挂着。用 nohup 放后台,输出写进日志:

nohup wget -c --limit-rate=200k https://mirrors.example.com/ubuntu-24.04.iso > download.log 2>&1 &
tail -f download.log

更推荐 tmux,断线重连后还能回到原来的会话:

tmux new -s dl
wget -c --limit-rate=200k https://mirrors.example.com/ubuntu-24.04.iso

在 tmux 里按 Ctrl+b 再按 d 即可 detach,之后用 tmux attach -t dl 回到下载现场。

七、避坑清单

  1. 先确认服务器支持 Range 请求再指望续传:curl -I https://mirrors.example.com/ubuntu-24.04.iso | grep -i Accept-Ranges,返回 Accept-Ranges: bytes 才支持。
  2. 下载前用 df -h 看剩余空间,4 GiB 的文件至少留 5 GiB,解压和校验都要临时空间。
  3. 业务高峰期不要满速下载,限速留出 30% 带宽给网站,避免正常访问被拖垮。
  4. 下载完必做 sha256 校验,坏包重下只花时间,装上去才发现损坏更花时间。
  5. 小文件别折腾多线程,并行握手的开销反而比单连接更慢。

小带宽不是不能下载大文件,只是不能用“点一下等它下完”的办法。先测速、再选带续传的工具、限速、放后台、最后校验,这套流程跑通一次,以后不管多大的文件都心里有数。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。