华为云 DCS Redis 连接超时、内存打满、命令变慢?分层排查指南
「应用连不上 Redis」「高峰期一直报 Read timed out」「内存利用率顶到 100%,写入开始报错」是分布式缓存服务 DCS(Redis)最常见的几类求助。常见的情况是一出问题就重启实例或直接扩容,过几天问题又回来了。本文对照 DCS 官方文档,把问题拆成网络、认证与命令、连接数、带宽与性能、内存五层,最后给出排查顺序、速查表和常见坑。菜单名与数值以 support.huaweicloud.com 当前页面为准,属于开源 Redis 通用知识的地方会单独注明。
一、先定层:看报错和现象
动手前先把客户端报错原文抄下来,再打开实例监控,两者基本能决定从哪一层查起:
| 层 | 典型现象或报错 | 一句话判断 |
|---|---|---|
| 网络 | 连接超时、Connection reset by peer |
端口根本不通 |
| 认证与命令 | 鉴权失败、unknown command、Cluster 下 MOVED |
端口通,但请求被拒 |
| 连接数 | 新连接被拒、连接池拿不到连接 | 和数量有关 |
| 带宽与性能 | Read timed out、Could not get a resource from the pool |
能连上,但慢 |
| 内存 | 内存利用率接近 100%、写入报错、Key 被逐出 | 能读,写不进或数据变少 |
官方「Redis连接失败问题排查和解决」(dcs-trouble-0715001)把连接问题分成七类:ECS 与 Redis 之间的连接、公网连接 Redis 3.0、密码、实例配置、客户端、带宽超限、性能问题。下面的分层基本沿用这个思路。
二、网络层:同 VPC、安全组还是白名单
1. 先确认网络前提
官方「连接Redis网络要求」(dcs-ug-0312007)写得很清楚:
- 客户端所在 ECS 必须与 Redis 实例在同一个 VPC。
- 同区域不同 VPC:需要建立 VPC 对等连接(之前单独写过,这里不展开)。
- 不同区域:日常排查按「不支持跨 Region 访问」处理,优先在同 Region 建实例(见
dcs-trouble-0715001);网络要求页(dcs-ug-0312007)另提到可以通过云专线打通,但实例域名无法跨 Region 解析,走专线需要在hosts绑定或直接用 IP。两页说法不完全一致,是否支持、怎么配置以support.huaweicloud.com当前页面为准。
2. 访问控制按版本区分
这是 DCS 和很多云数据库不同的地方,也是常见的排查盲区:
- Redis 3.0、Redis 6.0 企业版(以及 Memcached):用安全组控制,不支持白名单。ECS 与 Redis 用同一个安全组,或者在 Redis 所在安全组的入方向放通客户端地址和端口。
- Redis 4.0 及以上基础版:用 IP 白名单控制,不支持安全组。
白名单的几个细节(见 dcs-ug-190812001):
- 没有添加白名单或停用白名单时,所有与实例 VPC 互通的 IP 都能访问。
- 白名单创建后立即生效,但对已有长连接,需要重连后才生效。
- 每个实例最多 4 个白名单分组,合计最多 100 个 IP/地址段(见
dcs-ug-190812001),不支持0.0.0.0和0.0.0.0/0。 - 客户端 IP 变了(例如容器重建、弹性伸缩新开机器),要把新 IP 加进去。
常见的情况是:在安全组里折腾半天,其实实例是 4.0 以上版本,根本不看安全组,看的是白名单。
3. 公网访问
- Redis 4.0 及以上:按「开启Redis公网访问」的流程开启并获取公网地址。
- Redis 3.0:需要安全组规则正确。SSL 关闭时入方向放通
6379,SSL 开启时放通36379;开启 SSL 后必须装 Stunnel,连接命令里写 Stunnel 客户端的地址和端口,而不是控制台展示的公网地址。另外如果绑定的 EIP 被解绑,公网访问会被关闭,需要重新开启。 - 子网关联了网络 ACL 且出方向有限制时,也会出现
Connection reset by peer,需要放开。
4. 用 redis-cli 验证
在客户端所在 ECS 上直接连一次(命令格式取自官方页面):
# 单机、主备、Proxy 集群
./redis-cli -h {dcs_instance_address} -p 6379 -a {password}
# Cluster 集群:必须加 -c
./redis-cli -h {dcs_instance_address} -p 6379 -a {password} -c
我习惯先 PING 一下再执行业务命令:连不上就回到上面查 VPC、安全组或白名单;能连上再往下层查。
三、认证与命令层
1. 密码
官方说明:密码错误时端口可以连上,但鉴权会失败,所以「telnet 通但应用报错」时先核对密码。忘记密码可以在控制台重置。
2. 高危命令被重命名
DCS 支持对部分高危命令重命名(见 dcs-ug-1009002):仅 Redis 4.0 及以上支持,可重命名的有 command、keys、flushdb、flushall、hgetall、scan、hscan、sscan、zscan,Proxy 集群另支持 dbsize、dbstats。重命名后执行原命令会报 unknown command,页面也不会显示重命名后的命令。
两个容易踩的坑:
- 每次重命名会覆盖上一次,漏填之前改过的命令,它就会恢复原名。
- 单机、主备、Cluster 集群重命名过程中可能自动重启实例,是否重启看小版本和操作窗口提示,Proxy 集群和读写分离重命名不会重启;单机实例重启会清空数据,要在低峰期并确认影响后再做。
3. Cluster 集群与客户端
redis-cli 连 Cluster 集群不加 -c,访问不在当前节点的 Key 时会收到重定向错误(开源 Redis 行为是返回 MOVED)。应用侧同理,Cluster 集群要用支持集群协议的客户端(如 JedisCluster);Proxy 集群则可以像单机一样访问。
四、连接数层
1. maxclients 是单节点上限
参数 maxclients(见 dcs-ug-0312024):取值范围 1000~50000,默认 10000。官方特别说明这是**单节点(单分片)**上限:集群实例单节点上限 = 实例连接数上限 / 分片数;单机、主备实例单节点上限即实例最大连接数。读写分离实例暂不支持该参数。官方故障排除页对「拒绝连接」给的处理就是调整 maxclients。参数修改后立即生效,不需要手动重启实例(见 dcs-ug-0312024)。
2. 先看是不是连接泄漏
调大之前先看监控指标「活跃的客户端数量」。常见的情况是:应用每次请求新建连接不释放,或者连接池上限设得过大,实例数一扩容总连接数就翻倍。官方内存排查页也提醒:短连接性能差,推荐使用带连接池的客户端。
以 Jedis 为例,官方 FAQ《连接池选择及Jedis连接池参数配置建议》(dcs-faq-211230001)建议的核心约束是:单个客户端 maxTotal × 客户端节点数(容器或虚机数量)要小于实例最大连接数。例如主备实例 maxclients 为 10000、单个客户端 maxTotal 为 500,最多支撑 20 个客户端节点。另外 maxIdle 建议与 maxTotal 一致,testWhileIdle 建议开启。
3. 空闲连接被断开
参数 timeout 表示客户端空闲 N 秒后断开连接,取值 0~7200 秒,默认 0(不断开)。如果有人把它改成了非零值,而连接池又没有空闲检测,就会出现「隔一段时间第一次请求必失败」的现象。
五、带宽与性能层:Read timed out 从哪来
1. 带宽被流控
实例带宽达到规格上限时,可能出现部分连接超时。官方建议看监控指标「流控次数」确认是否触顶,再查大 Key、热 Key;Redis 4.0 及以上支持在控制台做带宽扩容。
2. 阻塞命令与慢查询
官方明确点名:keys 会消耗大量资源、造成 Redis 阻塞,建议用 scan 替代并避免频繁执行;业务不需要时可以用上面的命令重命名禁掉它。
慢查询在「分析与诊断 > 慢查询」查看(见 dcs-ug-190926001):
slowlog-log-slower-than默认10000微秒,即 10ms;slowlog-max-len默认 128 条。- 界面只能查询七天内的记录,实例重启后查不到重启前的记录,出问题后尽早导出。
- Proxy 集群和读写分离实例在部分区域区分 Proxy 节点和 Redis Server 的慢查询;客户端 IP 要开启「客户端IP透传」后才是真实地址。
3. 客户端超时与 unexpected end of stream
官方对 unexpected end of stream 的建议是调优 Jedis 连接池参数并排查大 Key(见《连接池选择及Jedis连接池参数配置建议》,dcs-faq-211230001)。这里的命令超时 timeout 是 Jedis 客户端命令超时(毫秒),和实例参数 timeout(秒,空闲断连)不是一回事;官方建议不小于 210ms,maxWaitMillis(获取连接等待时间)按「业务最长容忍时间减去命令超时」来估算。超时设得过短,网络稍有抖动就会大量报错。
六、内存层:打满之后会发生什么
1. 先读懂内存利用率
官方「Redis实例内存使用率高问题排查和解决」(dcs-trouble-210918001)说明:由于主从同步、延迟释放等机制,内存利用率可能略微超过 100%,这属于正常情况,表示内存已写满,需要扩容或清理;通常超过 95% 就要关注。判断是否真的内存不足,看同一时段的「已逐出的键数量」和「命令最大时延」是否明显上升。
2. 逐出策略决定写满后的行为
maxmemory-policy 有 8 种取值(见 dcs-faq-0427031)。默认值:2020 年 7 月及之后创建的实例为 volatile-lru;2020 年 7 月之前创建且没改过的实例为 noeviction。
关键一点:volatile-lru、volatile-random、volatile-ttl 只会逐出设置了过期时间的 Key。官方写明,当没有满足条件的 Key 时,这几种策略的表现与 noeviction 相同,即写命令直接返回错误(开源 Redis 的报错一般是 OOM command not allowed when used memory > 'maxmemory')。所以「明明是默认策略,为什么不自动淘汰」,答案往往是业务写入的 Key 都没设过期时间。纯缓存场景可以评估改为 allkeys-lru 或 allkeys-lfu。
3. 找出占内存的东西
- 大 Key:「分析与诊断 > 缓存分析」的「大Key分析」页签(见
dcs-ug-190808001)。主备、读写分离和集群实例分析的是备节点,影响较小;单机实例分析主节点,访问性能会略受影响,建议低峰期执行,且不要和自动备份时间重叠。 - 热 Key:只有 Redis 4.0 及以上支持,且
maxmemory-policy必须是allkeys-lfu或volatile-lfu。 - 过期但未释放的 Key:Redis 采用惰性删除加定期抽样删除,过期 Key 不一定立刻释放内存。「过期key扫描」页签可以扫描释放(见
dcs-ug-210330002),仅 Redis 4.0 及以上支持、企业版不支持,在主节点执行,会占用 CPU,要放在低峰期。 - Key 不多但内存满:官方提示可能是客户端输出缓冲区(output buffer)占用过多,可以用
redis-cli --bigkeys扫描后执行info查看。
4. 处理与预防
官方给出的规范(dcs-trouble-210918001、dcs-faq-0521005):
- String 类型 Value 控制在 10KB 以内;Hash、List、Set、Zset 单 Key 元素建议不超过 5000 个。
- 大 Key 要拆分,或迁出到其他存储;禁止用
DEL直接删大 Key,可能造成阻塞甚至主备倒换,Redis 4.0 及以上建议用UNLINK。 - 合理设置过期时间,避免历史数据堆积。
- 只做缓存、能容忍数据丢失时,可以把
appendonly改为no关闭 AOF 持久化。 - 以上做完仍然很高,再在低峰期变更实例规格。
七、推荐排查顺序
- 抄下完整报错,打开实例监控,看内存利用率、活跃客户端数量、流控次数、命令最大时延。
- 在应用所在 ECS 上用
redis-cli连一次,确认同 VPC、地址和端口正确。 - 连不上:3.0/6.0 企业版查安全组,4.0 及以上基础版查白名单;长连接改完白名单要重连。
- 能连但鉴权失败:核对密码;报
unknown command查命令重命名;Cluster 查-c和客户端类型。 - 新连接被拒或拿不到连接:对比活跃客户端数与
maxclients(注意按分片算),核对maxTotal× 节点数。 - 超时变多:看流控次数和慢查询,排查
keys、大 Key、热 Key。 - 写入报错:看内存利用率和逐出策略,确认 Key 是否设了过期时间。
- 内存高:做大 Key 分析、过期 Key 扫描,查 output buffer,最后再考虑扩容。
八、速查表
| 现象 | 优先怀疑 | 先看哪里 |
|---|---|---|
| 连接超时 | 不同 VPC 或访问控制 | VPC、安全组或白名单 |
| 改了安全组仍连不上 | 实例是 4.0 及以上基础版 | 白名单 |
| 白名单改了旧服务仍能连 | 长连接未重连 | 应用重连 |
| 公网 3.0 连接被重置 | 安全组、ACL 或未用 Stunnel | 6379/36379 规则 |
unknown command |
命令已被重命名 | 命令重命名记录 |
| Cluster 访问报重定向 | 没加 -c 或客户端不支持集群 |
连接命令、客户端 |
| 新连接被拒 | 达到单节点连接上限 | maxclients、活跃客户端数量 |
| 隔一阵首次请求失败 | timeout 断开空闲连接 |
timeout 参数、连接池检测 |
偶发 Read timed out |
带宽流控或阻塞命令 | 流控次数、慢查询 |
| 内存略超 100% | 已写满(属正常现象) | 扩容或清理 |
| 写入报错、不逐出 | Key 未设过期时间 | maxmemory-policy |
| Key 不多但内存满 | 输出缓冲区 | info |
| 某分片内存特别高 | 大 Key | 大Key分析 |
九、常见坑
- 在安全组上反复排查:4.0 及以上基础版看的是白名单,不是安全组。
- 把
maxclients当整实例上限:集群实例是按分片算的。 - 以为默认策略会自动淘汰:
volatile-*只淘汰带过期时间的 Key,没有就等同noeviction。 - 用
DEL删大 Key:可能阻塞甚至触发主备倒换,用UNLINK。 - 业务高峰做大 Key 分析或过期 Key 扫描:都会遍历键空间,放到低峰期。
- 重命名命令时漏填旧命令:新的重命名会覆盖旧的,漏掉的命令会恢复原名。
十、官方参考
连接Redis网络要求
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-0312007.html
配置Redis访问白名单
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190812001.html
Redis连接失败问题排查和解决
https://support.huaweicloud.com/trouble-dcs/dcs-trouble-0715001.html
修改DCS实例配置参数
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-0312024.html
连接池选择及Jedis连接池参数配置建议
https://support.huaweicloud.com/dcs_faq/dcs-faq-211230001.html
重命名DCS实例高危命令
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-1009002.html
查看Redis实例的慢查询记录
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190926001.html
Redis实例的数据逐出策略是什么?
https://support.huaweicloud.com/dcs_faq/dcs-faq-0427031.html
Redis实例内存使用率高问题排查和解决
https://support.huaweicloud.com/trouble-dcs/dcs-trouble-210918001.html
查找Redis实例大Key和热Key
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190808001.html
扫描并删除Redis实例的过期Key
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-210330002.html
为了减少大Key和热Key过大,有什么使用建议?
https://support.huaweicloud.com/dcs_faq/dcs-faq-0521005.html
- 点赞
- 收藏
- 关注作者
评论(0)