小带宽服务器上的大文件下载与断点续传
手里有一台 2 Mbit/s 带宽的小规格云服务器,要拉一个 4 GiB 的系统镜像。按满速算也要四个多小时,中间 SSH 断一次、网络抖一下,下载就得从头再来。解决办法不是升级带宽,而是把断点续传、限速、校验、后台运行这四件事做对。下面是我在小带宽机器上实测过的做法。
一、先算一笔账:到底要下多久
2 Mbit/s 的理论速度约 256 KiB/s,4 GiB 的文件大约需要 4.6 小时,10 GiB 则要 11 小时以上。动手之前先测一下真实速度,别拿标称带宽做计划:
curl -r 0-10485759 -o /dev/null -w "平均速度:%{speed_download} Byte/s\n" https://mirrors.example.com/testfile.bin
-r 0-10485759 只取前 10 MiB 做测速,不会把整个文件拉下来。测出来的速度才是排计划的依据。
二、curl 断点续传:最顺手的办法
curl 的 -C - 会自动从已有文件的末尾继续下载,同一个命令反复执行就是续传:
curl -C - -O https://mirrors.example.com/ubuntu-24.04.iso
再加两个参数更稳:--retry 5 表示失败自动重试 5 次,--retry-delay 10 表示每次重试间隔 10 秒:
curl -C - --retry 5 --retry-delay 10 -O https://mirrors.example.com/ubuntu-24.04.iso
下载完成后一定要校验完整性,用发布方给出的 SHA256 值逐字符比对:
sha256sum ubuntu-24.04.iso
三、wget -c:简单直接
wget 的 -c 就是续传开关,--limit-rate 可以限速,--tries=0 表示无限重试:
wget -c --limit-rate=200k --tries=0 https://mirrors.example.com/ubuntu-24.04.iso
--limit-rate=200k 把速度压在 200 KiB/s 左右,给网站和业务留出带宽。注意限速单位是 KiB/s,200k 约等于 1.6 Mbit/s,2 Mbit/s 的机器留 400 Kbit/s 给业务基本够用。
四、aria2c:多连接加速
如果下载源支持多连接,aria2c 可以把一个文件拆成多段并行下载:
sudo apt install aria2 -y
aria2c -x 8 -s 8 --max-download-limit=200K -c https://mirrors.example.com/ubuntu-24.04.iso
-x 8 是每个服务器最多 8 个连接,-s 8 是把文件拆成 8 段,-c 同样是断点续传。提醒一句:不是所有服务器都支持多连接,有的会限流甚至封 IP,第一次先用 -x 1 试一下,没问题再加连接数。
五、下不完就分片:split 与 rsync
有些大文件提供方本身就做了分片,比如每 500 MiB 一个包,逐个下载再合并:
cat part_* > ubuntu-24.04.iso
sha256sum ubuntu-24.04.iso
自己传文件则用 rsync,-P 自带断点续传和进度显示,--bwlimit 限速:
rsync -avP --bwlimit=200 user@192.0.2.10:/data/bigfile.tar.gz ./
--bwlimit=200 的单位是 KiB/s,和 wget 的限速保持一致,方便统一管理。
六、放后台慢慢跑:nohup 与 tmux
大文件下载动辄几小时,不能让 SSH 会话一直挂着。用 nohup 放后台,输出写进日志:
nohup wget -c --limit-rate=200k https://mirrors.example.com/ubuntu-24.04.iso > download.log 2>&1 &
tail -f download.log
更推荐 tmux,断线重连后还能回到原来的会话:
tmux new -s dl
wget -c --limit-rate=200k https://mirrors.example.com/ubuntu-24.04.iso
在 tmux 里按 Ctrl+b 再按 d 即可 detach,之后用 tmux attach -t dl 回到下载现场。
七、避坑清单
- 先确认服务器支持 Range 请求再指望续传:
curl -I https://mirrors.example.com/ubuntu-24.04.iso | grep -i Accept-Ranges,返回Accept-Ranges: bytes才支持。 - 下载前用
df -h看剩余空间,4 GiB 的文件至少留 5 GiB,解压和校验都要临时空间。 - 业务高峰期不要满速下载,限速留出 30% 带宽给网站,避免正常访问被拖垮。
- 下载完必做 sha256 校验,坏包重下只花时间,装上去才发现损坏更花时间。
- 小文件别折腾多线程,并行握手的开销反而比单连接更慢。
小带宽不是不能下载大文件,只是不能用“点一下等它下完”的办法。先测速、再选带续传的工具、限速、放后台、最后校验,这套流程跑通一次,以后不管多大的文件都心里有数。
- 点赞
- 收藏
- 关注作者
评论(0)