CCE 上 Service 访问偶发超时:节点 conntrack 表满,包在 netfilter 就被丢了
## 现象
CCE 集群(kube-proxy iptables 模式,节点 8C16G,每节点约 120 个 Pod),业务反馈「偶尔有一两个请求超时」,比例大概千分之一到千分之三,重试就成功。
应用侧看不到异常:客户端日志只有 `context deadline exceeded`,服务端 access log 里**根本没有这条请求**。也就是说请求压根没到服务进程。
跨节点访问才出现,同节点 Pod 互访正常 —— 这条线索基本把问题指向节点网络层,而不是 Service/Endpoints 配置。
## 定位
先看内核有没有在丢包:
```
$ dmesg -T | grep -i conntrack | tail
[Wed Nov 11 14:22:03 2026] nf_conntrack: nf_conntrack: table full, dropping packet
[Wed Nov 11 14:22:07 2026] nf_conntrack: nf_conntrack: table full, dropping packet
```
再看当前用量:
```
$ cat /proc/sys/net/netfilter/nf_conntrack_count
$ cat /proc/sys/net/netfilter/nf_conntrack_max
262144
65536
```
`count` 已经贴着 `max`,实锤。再看是不是 TCP 连接长期不释放:
```
$ conntrack -S | head
cpu=0 found=0 invalid=0 insert=0 insert_failed=8123 drop=8123 early_drop=0 error=0 search_restart=0
```
`insert_failed` / `drop` 同步增长,就是表满后新连接插不进去。
## 为什么 iptables 模式下 conntrack 这么容易满
kube-proxy 用 iptables 做 DNAT,**每条穿过 Service 的连接都会在节点上留下两条 conntrack 记录**(原始方向 + 回程),而且默认的 `nf_conntrack_tcp_timeout_established` 是 **432000 秒(5 天)**。
算一笔账:120 Pod × 平均 80 条到 Service 的长连接 × 2 = 约 2 万条,看起来不多;但业务里还有大量「用了连接池但连接不主动关」的场景 —— 客户端进程崩溃、容器滚动重启、HTTP/1.1 keepalive 空闲 60 秒才断,这些连接在 conntrack 里要躺满 5 天。跑几天表就满了。
`nf_conntrack_max` 默认值一般是 `内存(KB)/16384 × 4`,16G 节点算出 4096 的量级;这里被节点池的 kubelet 参数调到了 65536,仍然不够。
## 处置
短期(先止血,可在线改):
```
sysctl -w net.netfilter.nf_conntrack_max=262144
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=3600
```
把 established 超时从 5 天压到 1 小时是最有效的一步 —— 它直接把「僵尸连接」的驻留时间降了两个数量级。副作用是空闲超过 1 小时的连接会被内核清掉,如果对端还认为连接活着,下一次发包会拿到 RST 或直接超时,需要客户端有重连逻辑。业务侧建议把 keepalive 设得比这个值小:
```yaml
# 应用侧 Tomcat / Netty 均可配
server.tomcat.connection-timeout: 20s
```
长期:
1. **换 IPVS 或 eBPF 模式**。CCE 节点池支持 kube-proxy 的 IPVS 模式,IPVS 连接跟踪用的是自己的 hash 表(`ip_vs_conn`),压力小得多;eBPF 模式更是完全绕开 iptables 规则链。
2. **把 sysctl 固化到节点池**。在线 `sysctl -w` 重启就丢,要写进 `/etc/sysctl.d/99-kubelet.conf`,CCE 可以在节点池的「Kubelet 自定义参数 / 节点启动脚本」里固化。
3. **给 conntrack 留够内存**。`nf_conntrack_max` 每条约 300 字节,262144 条约 75MB,16G 节点可以接受;不要盲目调到百万级,`hashsize` 跟不上反而会 `insert_failed`。
## 两个容易踩的坑
**坑 1:`conntrack -S` 的 `drop` 计数是全局的,不是这次故障的。** 判断「现在还在丢」要用两次采样做差:
```
$ conntrack -S | awk '{print $1,$NF}' > /tmp/a; sleep 10; conntrack -S | awk '{print $1,$NF}' > /tmp/b
```
**坑 2:`nf_conntrack: table full` 只在第一次触发时打日志(有 `net_ratelimit` 限流),`dmesg` 里看不到不代表没发生。** 一定要同时看 `count/max` 和 `conntrack -S` 的 `insert_failed`。
## 验证
改完后压测 30 分钟,观察:
```
while true; do
printf "%s %s/%s\n" "$(date +%T)" \
"$(cat /proc/sys/net/netfilter/nf_conntrack_count)" \
"$(cat /proc/sys/net/netfilter/nf_conntrack_max)"
sleep 5
done
```
`count` 应该稳定在一个有波动的平台值,而不是单调爬升;`insert_failed` 不再增长。调整后连续 3 天业务侧超时率归零,问题闭环。
## 小结
- Service 偶发超时 + 服务端无日志 + 跨节点才现 → 先查节点 netfilter,别先怀疑 Service。
- iptables 模式 conntrack 是稀缺资源,`tcp_timeout_established` 默认 5 天是主要元凶。
- 压超时比调大表更有效;调大表要配合 hashsize 和内存。
- 根本解是换 IPVS / eBPF 数据面。
- 点赞
- 收藏
- 关注作者
评论(0)