CCE 上 Service 访问偶发超时:节点 conntrack 表满,包在 netfilter 就被丢了

举报
yd_273983069 发表于 2026/11/14 10:05:35 2026/11/14
【摘要】 集群里 Pod 访问同集群 Service 时有千分之几的请求超时,应用日志看不到任何错误,抓包发现 SYN 发出后没有回包。根因是节点 nf_conntrack 表被写满(kube-proxy iptables 模式下每个 Service 连接都占一条 conntrack),内核直接丢包且默认不打日志。本文给出确认命令、容量估算方法、以及 nf_conntrack_max / tcp_timeo

## 现象


CCE 集群(kube-proxy iptables 模式,节点 8C16G,每节点约 120 个 Pod),业务反馈「偶尔有一两个请求超时」,比例大概千分之一到千分之三,重试就成功。


应用侧看不到异常:客户端日志只有 `context deadline exceeded`,服务端 access log 里**根本没有这条请求**。也就是说请求压根没到服务进程。


跨节点访问才出现,同节点 Pod 互访正常 —— 这条线索基本把问题指向节点网络层,而不是 Service/Endpoints 配置。


## 定位


先看内核有没有在丢包:


```

$ dmesg -T | grep -i conntrack | tail

[Wed Nov 11 14:22:03 2026] nf_conntrack: nf_conntrack: table full, dropping packet

[Wed Nov 11 14:22:07 2026] nf_conntrack: nf_conntrack: table full, dropping packet

```


再看当前用量:


```

$ cat /proc/sys/net/netfilter/nf_conntrack_count

$ cat /proc/sys/net/netfilter/nf_conntrack_max

262144

65536

```


`count` 已经贴着 `max`,实锤。再看是不是 TCP 连接长期不释放:


```

$ conntrack -S | head

cpu=0 found=0 invalid=0 insert=0 insert_failed=8123 drop=8123 early_drop=0 error=0 search_restart=0

```


`insert_failed` / `drop` 同步增长,就是表满后新连接插不进去。


## 为什么 iptables 模式下 conntrack 这么容易满


kube-proxy 用 iptables 做 DNAT,**每条穿过 Service 的连接都会在节点上留下两条 conntrack 记录**(原始方向 + 回程),而且默认的 `nf_conntrack_tcp_timeout_established` 是 **432000 秒(5 天)**。


算一笔账:120 Pod × 平均 80 条到 Service 的长连接 × 2 = 约 2 万条,看起来不多;但业务里还有大量「用了连接池但连接不主动关」的场景 —— 客户端进程崩溃、容器滚动重启、HTTP/1.1 keepalive 空闲 60 秒才断,这些连接在 conntrack 里要躺满 5 天。跑几天表就满了。


`nf_conntrack_max` 默认值一般是 `内存(KB)/16384 × 4`,16G 节点算出 4096 的量级;这里被节点池的 kubelet 参数调到了 65536,仍然不够。


## 处置


短期(先止血,可在线改):


```

sysctl -w net.netfilter.nf_conntrack_max=262144

sysctl -w net.netfilter.nf_conntrack_tcp_timeout_established=3600

```


把 established 超时从 5 天压到 1 小时是最有效的一步 —— 它直接把「僵尸连接」的驻留时间降了两个数量级。副作用是空闲超过 1 小时的连接会被内核清掉,如果对端还认为连接活着,下一次发包会拿到 RST 或直接超时,需要客户端有重连逻辑。业务侧建议把 keepalive 设得比这个值小:


```yaml

# 应用侧 Tomcat / Netty 均可配

server.tomcat.connection-timeout: 20s

```


长期:


1. **换 IPVS 或 eBPF 模式**。CCE 节点池支持 kube-proxy 的 IPVS 模式,IPVS 连接跟踪用的是自己的 hash 表(`ip_vs_conn`),压力小得多;eBPF 模式更是完全绕开 iptables 规则链。

2. **把 sysctl 固化到节点池**。在线 `sysctl -w` 重启就丢,要写进 `/etc/sysctl.d/99-kubelet.conf`,CCE 可以在节点池的「Kubelet 自定义参数 / 节点启动脚本」里固化。

3. **给 conntrack 留够内存**。`nf_conntrack_max` 每条约 300 字节,262144 条约 75MB,16G 节点可以接受;不要盲目调到百万级,`hashsize` 跟不上反而会 `insert_failed`。


## 两个容易踩的坑


**坑 1:`conntrack -S` 的 `drop` 计数是全局的,不是这次故障的。** 判断「现在还在丢」要用两次采样做差:


```

$ conntrack -S | awk '{print $1,$NF}' > /tmp/a; sleep 10; conntrack -S | awk '{print $1,$NF}' > /tmp/b

```


**坑 2:`nf_conntrack: table full` 只在第一次触发时打日志(有 `net_ratelimit` 限流),`dmesg` 里看不到不代表没发生。** 一定要同时看 `count/max` 和 `conntrack -S` 的 `insert_failed`。


## 验证


改完后压测 30 分钟,观察:


```

while true; do

  printf "%s %s/%s\n" "$(date +%T)" \

    "$(cat /proc/sys/net/netfilter/nf_conntrack_count)" \

    "$(cat /proc/sys/net/netfilter/nf_conntrack_max)"

  sleep 5

done

```


`count` 应该稳定在一个有波动的平台值,而不是单调爬升;`insert_failed` 不再增长。调整后连续 3 天业务侧超时率归零,问题闭环。


## 小结


- Service 偶发超时 + 服务端无日志 + 跨节点才现 → 先查节点 netfilter,别先怀疑 Service。

- iptables 模式 conntrack 是稀缺资源,`tcp_timeout_established` 默认 5 天是主要元凶。

- 压超时比调大表更有效;调大表要配合 hashsize 和内存。

- 根本解是换 IPVS / eBPF 数据面。


【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。