接口偶发 5 秒超时,最后栽在 DNS 解析重试上
现象
一个内部 HTTP 服务偶发超时,错误率 1% 左右,没有明显规律:重试一次基本就好。最诡异的是超时的耗时几乎恒定,都在 5.0 秒上下——不是 50ms,也不是 30 秒,而是整整齐齐的 5.00s。做过性能排查的人对这种"固定值"应该有直觉:它不是负载造成的,是某个超时参数被精确命中了。
第一步:把耗时拆开,而不是看总耗时
APM 上只显示"请求 5.02s",看不出问题。于是用 curl 打印分段计时:
curl -o /dev/null -s -w "dns=%{time_namelookup} connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total}\n" https://api.example.com/health
复现那次输出:dns=5.0031 connect=0.0000 ttfb=5.0210 total=5.0215。时间全部花在 time_namelookup,TCP 握手和 TLS 都是毫秒级。也就是说连接根本没开始建,卡在域名解析。
第二步:dig 很快,应用很慢,差异在哪
直接 dig api.example.com 只有 3ms,配置文件里的 DNS 服务器完全正常。说明慢的不是 DNS 服务,而是 glibc 的 getaddrinfo 调用方式。抓包看回环:
sudo tcpdump -ni lo -s0 port 53 and host 10.25.0.2
能看到两个几乎同时发出的查询,同样的查询 ID,一个问 A 记录、一个问 AAAA 记录。第二个包没有任何响应,5 秒后客户端重发,这一次拿到了结果。这就是经典的 A/AAAA 并发查询 ID 冲突问题:glibc 在 2.9 之前(或某些中间设备/解析器实现上)会用同一个 socket、同一个查询 ID 同时发 A 和 AAAA,服务端口按 ID 匹配响应,把第二个当重复包丢弃。客户端等不到,只能等满 timeout(默认 5 秒)再重试——那个恒定的 5.00s 就是这么来的。
顺带发现的第二个坑:ndots
这台机器跑在 K8s 里,容器内 /etc/resolv.conf 长这样:
nameserver 10.25.0.2
options ndots:5
search default.svc.cluster.local svc.cluster.local cluster.local
ndots:5 的含义是:域名里点号少于 5 个,就优先当成相对名字,依次拼上 search 后缀去查。而 api.example.com 只有 2 个点,于是每次解析要先做 3 次注定 NODATA 的集群内查询,才轮到真查询。外部域名多的服务,光这一步就多花好几毫秒,遇到 CoreDNS 抖动还会被放大。
修复
1)让 A 和 AAAA 用不同的 socket,或缩短超时:
options timeout:1 attempts:1 single-request-reopen
single-request-reopen 专治上面的 ID 冲突;短期不想动 IPv6 也可以直接让应用只走 IPv4,Java 是 -Djava.net.preferIPv4Stack=true。
2)消掉无用的搜索域查询:调用侧统一写成带结尾点的 FQDN(api.example.com.),或者把 ndots 降到 2。K8s 里更彻底的办法是上 NodeLocal DNSCache,让解析命中本机缓存。
3)注意 Java 自己的 DNS 缓存:networkaddress.cache.ttl 在有安全管理器时默认是永久缓存,容器重建后 IP 变了进程还以为旧地址有效,会看到另一类"偶发连不上"。
复盘
这次真正值钱的线索只有两条:耗时是个精确的 5.00s,以及失败重试就好。固定耗时基本等于"命中了某个超时配置",而"重试就好"意味着问题在连接建立之前的某一层。把请求耗时拆成 DNS / TCP / TLS / 首字节四段,比盯着总耗时猜快得多。后来我在客户端库的埋点里补上了 getaddrinfo 单独计时,这类问题从此一眼就能看出来。
以上是一次真实排查的整理,思路适用于任何"偶发固定耗时超时"的场景。
- 点赞
- 收藏
- 关注作者
评论(0)