scp 传 2.3GB 文件卡在 0%:一次 MTU 不一致排查实录
场景
上周要给异地机房同步一个 2.3GB 的备份包,scp 一启动就卡在 0%,等了十分钟毫无进展;诡异的是,同一台源机器 scp 一个几百 KB 的小文件却秒过。小文件能过、大文件卡死,这条分界线基本已经把问题锁在“链路能通、但大包过不去”上了。
一、先分清“连不上”还是“传不动”
加 -v 看过程:SSH 认证完成、通道建立,说明 TCP 三次握手和 SSH 协商都没问题,卡点在开始传数据之后。再用 timeout 5 scp ... 复现,连接不断、进度恒为 0,这是典型的黑洞现象——包发出去了,回不来,发送端却在傻等。
二、从 MTU 下手
路径 MTU 不一致时,大包会被中间设备静默丢弃,而 ICMP“需要分片”报文常被防火墙过滤,发送端永远收不到反馈,只能一直重传。先看两端网卡 MTU 是否一致:
ip link show eth0 | grep mtu
再用“小包 + 禁止分片”逐级探测真实可用 MTU:
ping -M do -s 1472 -c 3 10.20.30.40
ping -M do -s 1372 -c 3 10.20.30.40
tracepath -n 10.20.30.40
-s 1472(1472+28=1500)不通、-s 1372 能通,说明链路上限只有 1400 左右;tracepath 输出里的 pmtu 1400 直接给出了路径实际 MTU。
三、根因
这台机器跑在 overlay 网络里,VXLAN 封装要额外占 50 字节;宿主 eth0 是 1500,容器网卡却还是默认 1500,叠加封装后超过物理链路,而 DF 位又让内核无法分片,大包一律被丢。把它调到 1450(1500-50)后,scp 立刻恢复正常。
四、比改 MTU 更稳的两条路
- 在网关做 MSS 收敛,让对端别发大包:
iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
- 只在应用层临时绕开:
scp -l 4000(限速)或rsync --bwlimit先确认是不是包尺寸问题;长期方案仍然是修 MTU 或做 MSS clamp。
五、收尾验证
ping -M do -s 1372稳定 0 丢包;scp进度条开始动,sar -n DEV 1看收发速率正常;ss -ti看连接的mss:是否落在 1400 附近。
一句总结:小文件能过、大文件卡死,先别怀疑磁盘和权限,ping -M do 加 tracepath 两分钟就能把 MTU 这条排除掉。
- 点赞
- 收藏
- 关注作者
评论(0)