kubectl exec 报 unable to upgrade connection:kubelet serving 证书的
## 背景
CCE 集群,1.25,节点池 6 台。某天早上开始,`kubectl logs` 和 `kubectl exec` 出现间歇性失败:
```
error: unable to upgrade connection: error dialing backend: dial tcp 10.0.3.47:10250: i/o timeout
```
换一台节点上的 Pod 就正常,重试几次有时又能进去。业务 Pod 本身健康,readiness 探针一直绿,节点状态 Ready。
## 先排除的三件事
1. **网络策略**:集群没开 NetworkPolicy,且 exec 是从 apiserver 到 kubelet 的链路,不经过 Pod 网络。
2. **Pod 本身**:`kubectl describe pod` 没有任何异常事件,容器没重启过。
3. **apiserver 负载**:`apiserver_request_duration_seconds` 正常,不是整体过载。
关键线索是**只有一台节点上的 Pod 出问题**,于是按节点维度查。
## 定位:先确认 apiserver 能不能连上 kubelet
```bash
# 走 apiserver 的 node proxy,这条链路和 exec 用的是同一个后端
kubectl get --raw "/api/v1/nodes/10.0.3.47/proxy/healthz"
```
返回:
```
Error from server: error trying to reach service: EOF
```
再从集群内一台机器直接探测 10250:
```bash
openssl s_client -connect 10.0.3.47:10250 -servername 10.0.3.47 </dev/null 2>/dev/null | openssl x509 -noout -text | grep -A1 "Subject Alternative Name"
```
证书里是:
```
X509v3 Subject Alternative Name:
DNS:node-3f2a, IP Address:10.0.3.41
```
而节点现在的 IP 是 **10.0.3.47**。也就是说 kubelet 用来做 TLS 服务的证书,SAN 里是这台节点**上一次**的 IP。
## 为什么会这样
kubelet 的 serving 证书默认走 `--tls-cert-file` / `--tls-private-key-file`。CCE 托管场景下这份证书是 kubelet 启动时自签的(`x509.SelfSigned` 一类),SAN 取自**当前时刻**的节点 IP 和 hostname。
节点因为规格变更被重建过:旧节点 10.0.3.41 下线,新节点拿到了 10.0.3.47,但 `/var/lib/kubelet/pki/` 目录里那份 `kubelet-server-current.pem` 是从旧节点带过来的(节点池重建时数据盘被保留并挂到了新节点),kubelet 启动时发现证书文件已存在就不会重签。
apiserver 侧如果配了 `--kubelet-certificate-authority`,会用这份 CA 校验证书链并比对 SAN,IP 不匹配直接拒绝;没配 CA 时很多版本会退化成 `InsecureSkipTLSVerify`,但 CCE 托管控制面是开启校验的,所以表现为连接被拒 / EOF,而 kubectl 只把最外层错误打给你,看不到 `x509: certificate is valid for 10.0.3.41, not 10.0.3.47`。
顺带一个容易混淆的点:`unable to upgrade connection` 这个错误本身出现在 SPDY/WebSocket 升级阶段,Kubernetes 1.31 之后 SPDY 通道被移除,kubectl 与 apiserver 版本跨度过大时也会报同样的错。判断方法很简单——**如果只有某几台节点上的 Pod 失败,就是 kubelet 侧;如果全集群都失败,才去看版本和通道。**
## 解决
删掉旧证书让 kubelet 重签,然后重启 kubelet:
```bash
# 在节点上(CCE 可走节点远程登录 / 或把节点重置一次)
sudo mv /var/lib/kubelet/pki/kubelet-server-current.pem /root/kubelet-server-current.pem.bak
sudo systemctl restart kubelet
sleep 20
openssl s_client -connect 127.0.0.1:10250 </dev/null 2>/dev/null | openssl x509 -noout -text | grep -A1 "Subject Alternative Name"
```
重签之后 SAN 变成 `IP Address:10.0.3.47`,`kubectl exec` 立刻恢复。
如果节点是**弹性 IP / 辅助网卡**导致 IP 会变,重启 kubelet 只是临时缓解,更稳的做法是开启 kubelet 证书轮换:
```yaml
# kubelet 配置片段
rotateCertificates: true
serverTLSBootstrap: true
```
`serverTLSBootstrap: true` 会让 kubelet 发出 CSR 由 apiserver 签发 serving 证书,`rotateCertificates: true` 让它在临近过期时自动续。CCE 上这项需要走节点池的自定义 kubelet 参数,改完要滚动重建节点才生效。
## 复盘
- 这类故障的共同特征是 **"同集群内部分节点"**,排查第一步就该按节点切片,而不是查 Pod。
- `kubectl get --raw "/api/v1/nodes/<node>/proxy/healthz"` 是区分"apiserver→kubelet 链路问题"和"容器内问题"最快的一条命令,比翻 apiserver 日志快得多。
- 节点重建时保留数据盘(为了留住镜像和本地缓存)是个合理的运维选择,但 `pki` 目录跟着一起留下来就有风险。要么重建时清掉 `/var/lib/kubelet/pki`,要么开启 serving 证书轮换。
- 看到一个含糊的 `unable to upgrade connection`,先把 apiserver 侧的详细错误捞出来:`kubectl -n kube-system logs <apiserver-pod> | grep -i "x509\|10250"`,能省掉大量猜测。
- 点赞
- 收藏
- 关注作者
评论(0)