MQTT 客户端每 90 秒掉一次线:一次 keepalive 与 clientId 顶号排查实录
一批网关设备通过 MQTT 上报采集数据,运维反馈其中一个客户端每隔 90 秒左右就掉线一次:重连后正常收两三分钟,然后再次断开。broker 用的是 EMQX,客户端 keepalive 配的 60 秒。下面把这次排查的顺序记下来。
一、先分清是谁先挂断的连接
掉线有三种完全不同的成因,对应的动作也不一样,不要一上来就改配置:
- broker 主动踢:EMQX 日志里会有明确原因,例如 keepalive timeout、session takeover、malformed packet。
- 中间链路静默清表:NAT、防火墙或负载均衡把空闲连接的表项删了,TCP 半开,客户端发出去的包有去无回,直到超时才发现。
- 客户端自己断的:onDisconnected 回调里的重连逻辑写坏了,表现为断开时间不规律。
分诊方法:在 broker 侧 tcpdump 抓端口,看 FIN 是哪一方先发;同时到 EMQX 的 clients 列表和日志里核对断开原因。本次日志是 keepalive timeout,也就是第一种——服务端判定的空闲超时。
二、keepalive 的真实语义
MQTT 里的 keepalive 是一个双向的空闲上限:客户端承诺在 keepalive 秒内至少发出一个报文(PUBLISH 或 PINGREQ),服务端在 1.5 倍 keepalive 时间内没有收到任何字节,就主动断开连接。60 秒的配置对应 90 秒断开,正是现场看到的那个周期。换句话说,这条链路一直在「静默—被踢—重连」循环,而不是网络抖动。
三、三个最常见的根因
1)多个线程共用一个连接写数据。MQTT 是单连接协议,两个线程同时往同一个 socket 写 PUBLISH,字节流交错后,固定头里的“剩余长度”字段直接被破坏,服务端按错误长度解析就会断连。改法是发送侧加锁串行化,或者干脆一个线程一个连接。
2)clientId 冲突。两个实例用了同一个 clientId,且 clean_session 为 true,后来者会把前者顶下线,被顶的一方重连又把对方顶掉,两边轮流掉线。设备侧 clientId 必须全局唯一,建议直接用“产品型号-设备序列号”。本次就是有两台网关刷了同一份配置,clientId 一模一样。
3)keepalive 大于中间链路的最短空闲超时。家用路由常见 60 秒清表,云厂商 LB 常见 900 秒。经验值是 keepalive 不超过最短空闲超时的一半,并确认 socket 层启用了 SO_KEEPALIVE;改走 WebSocket over 443 也能绕开大部分中间设备。
四、顺带把可靠性补齐
- QoS 1 只保证至少一次送达,PUBACK 丢失必然重发,消费端要按 message id 或业务主键做幂等去重,否则重复入库。
- 设备离线判定不要靠轮询在线客户端列表,用遗嘱消息(Will)让 broker 在连接异常断开时代发一条离线通知,实时性可靠得多。
- 重连必须带指数退避加随机抖动,否则商区停电后几千台设备同时回来,broker 和数据库一起被打空。
五、验证
改成唯一 clientId、发送侧加锁、keepalive 调到 30 秒以后,在 EMQX Dashboard 上观察 24 小时:该客户端的 reconnect 次数归零,消息积压恢复正常,掉线不再出现。
回头看,90 秒这个数字本身就是答案的一半:它等于 1.5 倍 keepalive。凡是断开周期正好是 keepalive 整数倍的,先查谁在静默、再查谁在顶号,比盲目重启服务有效得多。
- 点赞
- 收藏
- 关注作者
评论(0)