kubectl exec 报 unable to upgrade connection:kubelet serving 证书的

举报
yd_273983069 发表于 2026/11/11 10:18:24 2026/11/11
【摘要】 同一批 Pod,logs 和 exec 时好时坏,报 unable to upgrade connection 或 EOF,容器本身完全正常。根因不在容器、也不在网络策略,而是 apiserver 反向代理到 kubelet 10250 时 TLS 校验失败:kubelet 的 serving 证书是在节点第一次启动时自签的,SAN 里只有当时的节点 IP 和 hostname,节点重建或换 IP

## 背景


CCE 集群,1.25,节点池 6 台。某天早上开始,`kubectl logs` 和 `kubectl exec` 出现间歇性失败:


```

error: unable to upgrade connection: error dialing backend: dial tcp 10.0.3.47:10250: i/o timeout

```


换一台节点上的 Pod 就正常,重试几次有时又能进去。业务 Pod 本身健康,readiness 探针一直绿,节点状态 Ready。


## 先排除的三件事


1. **网络策略**:集群没开 NetworkPolicy,且 exec 是从 apiserver 到 kubelet 的链路,不经过 Pod 网络。

2. **Pod 本身**:`kubectl describe pod` 没有任何异常事件,容器没重启过。

3. **apiserver 负载**:`apiserver_request_duration_seconds` 正常,不是整体过载。


关键线索是**只有一台节点上的 Pod 出问题**,于是按节点维度查。


## 定位:先确认 apiserver 能不能连上 kubelet


```bash

# 走 apiserver 的 node proxy,这条链路和 exec 用的是同一个后端

kubectl get --raw "/api/v1/nodes/10.0.3.47/proxy/healthz"

```


返回:


```

Error from server: error trying to reach service: EOF

```


再从集群内一台机器直接探测 10250:


```bash

openssl s_client -connect 10.0.3.47:10250 -servername 10.0.3.47 </dev/null 2>/dev/null | openssl x509 -noout -text | grep -A1 "Subject Alternative Name"

```


证书里是:


```

X509v3 Subject Alternative Name:

    DNS:node-3f2a, IP Address:10.0.3.41

```


而节点现在的 IP 是 **10.0.3.47**。也就是说 kubelet 用来做 TLS 服务的证书,SAN 里是这台节点**上一次**的 IP。


## 为什么会这样


kubelet 的 serving 证书默认走 `--tls-cert-file` / `--tls-private-key-file`。CCE 托管场景下这份证书是 kubelet 启动时自签的(`x509.SelfSigned` 一类),SAN 取自**当前时刻**的节点 IP 和 hostname。


节点因为规格变更被重建过:旧节点 10.0.3.41 下线,新节点拿到了 10.0.3.47,但 `/var/lib/kubelet/pki/` 目录里那份 `kubelet-server-current.pem` 是从旧节点带过来的(节点池重建时数据盘被保留并挂到了新节点),kubelet 启动时发现证书文件已存在就不会重签。


apiserver 侧如果配了 `--kubelet-certificate-authority`,会用这份 CA 校验证书链并比对 SAN,IP 不匹配直接拒绝;没配 CA 时很多版本会退化成 `InsecureSkipTLSVerify`,但 CCE 托管控制面是开启校验的,所以表现为连接被拒 / EOF,而 kubectl 只把最外层错误打给你,看不到 `x509: certificate is valid for 10.0.3.41, not 10.0.3.47`。


顺带一个容易混淆的点:`unable to upgrade connection` 这个错误本身出现在 SPDY/WebSocket 升级阶段,Kubernetes 1.31 之后 SPDY 通道被移除,kubectl 与 apiserver 版本跨度过大时也会报同样的错。判断方法很简单——**如果只有某几台节点上的 Pod 失败,就是 kubelet 侧;如果全集群都失败,才去看版本和通道。**


## 解决


删掉旧证书让 kubelet 重签,然后重启 kubelet:


```bash

# 在节点上(CCE 可走节点远程登录 / 或把节点重置一次)

sudo mv /var/lib/kubelet/pki/kubelet-server-current.pem /root/kubelet-server-current.pem.bak

sudo systemctl restart kubelet

sleep 20

openssl s_client -connect 127.0.0.1:10250 </dev/null 2>/dev/null | openssl x509 -noout -text | grep -A1 "Subject Alternative Name"

```


重签之后 SAN 变成 `IP Address:10.0.3.47`,`kubectl exec` 立刻恢复。


如果节点是**弹性 IP / 辅助网卡**导致 IP 会变,重启 kubelet 只是临时缓解,更稳的做法是开启 kubelet 证书轮换:


```yaml

# kubelet 配置片段

rotateCertificates: true

serverTLSBootstrap: true

```


`serverTLSBootstrap: true` 会让 kubelet 发出 CSR 由 apiserver 签发 serving 证书,`rotateCertificates: true` 让它在临近过期时自动续。CCE 上这项需要走节点池的自定义 kubelet 参数,改完要滚动重建节点才生效。


## 复盘


- 这类故障的共同特征是 **"同集群内部分节点"**,排查第一步就该按节点切片,而不是查 Pod。

- `kubectl get --raw "/api/v1/nodes/<node>/proxy/healthz"` 是区分"apiserver→kubelet 链路问题"和"容器内问题"最快的一条命令,比翻 apiserver 日志快得多。

- 节点重建时保留数据盘(为了留住镜像和本地缓存)是个合理的运维选择,但 `pki` 目录跟着一起留下来就有风险。要么重建时清掉 `/var/lib/kubelet/pki`,要么开启 serving 证书轮换。

- 看到一个含糊的 `unable to upgrade connection`,先把 apiserver 侧的详细错误捞出来:`kubectl -n kube-system logs <apiserver-pod> | grep -i "x509\|10250"`,能省掉大量猜测。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。