华为云 DCS Redis 连接超时、内存打满、命令变慢?分层排查指南

举报
yd_294423728 发表于 2026/11/16 12:35:35 2026/11/16
【摘要】 DCS Redis 连不上、超时或内存打满,先按现象定层:须同 VPC,3.0/6.0 企业版看安全组、4.0 及以上基础版看白名单,长连接要重连;maxclients 默认 10000 且按分片计;超时查流控、keys 与慢查询;默认 volatile-lru 只逐出带过期时间的 Key,否则写入报错;用大Key分析、过期Key扫描和 UNLINK 释放内存。附速查表。

「应用连不上 Redis」「高峰期一直报 Read timed out」「内存利用率顶到 100%,写入开始报错」是分布式缓存服务 DCS(Redis)最常见的几类求助。常见的情况是一出问题就重启实例或直接扩容,过几天问题又回来了。本文对照 DCS 官方文档,把问题拆成网络、认证与命令、连接数、带宽与性能、内存五层,最后给出排查顺序、速查表和常见坑。菜单名与数值以 support.huaweicloud.com 当前页面为准,属于开源 Redis 通用知识的地方会单独注明。

一、先定层:看报错和现象

动手前先把客户端报错原文抄下来,再打开实例监控,两者基本能决定从哪一层查起:

层 典型现象或报错 一句话判断
网络 连接超时、Connection reset by peer 端口根本不通
认证与命令 鉴权失败、unknown command、Cluster 下 MOVED 端口通,但请求被拒
连接数 新连接被拒、连接池拿不到连接 和数量有关
带宽与性能 Read timed out、Could not get a resource from the pool 能连上,但慢
内存 内存利用率接近 100%、写入报错、Key 被逐出 能读,写不进或数据变少

官方「Redis连接失败问题排查和解决」(dcs-trouble-0715001)把连接问题分成七类:ECS 与 Redis 之间的连接、公网连接 Redis 3.0、密码、实例配置、客户端、带宽超限、性能问题。下面的分层基本沿用这个思路。

二、网络层:同 VPC、安全组还是白名单

1. 先确认网络前提

官方「连接Redis网络要求」(dcs-ug-0312007)写得很清楚:

  • 客户端所在 ECS 必须与 Redis 实例在同一个 VPC。
  • 同区域不同 VPC:需要建立 VPC 对等连接(之前单独写过,这里不展开)。
  • 不同区域:日常排查按「不支持跨 Region 访问」处理,优先在同 Region 建实例(见 dcs-trouble-0715001);网络要求页(dcs-ug-0312007)另提到可以通过云专线打通,但实例域名无法跨 Region 解析,走专线需要在 hosts 绑定或直接用 IP。两页说法不完全一致,是否支持、怎么配置以 support.huaweicloud.com 当前页面为准。

2. 访问控制按版本区分

这是 DCS 和很多云数据库不同的地方,也是常见的排查盲区:

  • Redis 3.0、Redis 6.0 企业版(以及 Memcached):用安全组控制,不支持白名单。ECS 与 Redis 用同一个安全组,或者在 Redis 所在安全组的入方向放通客户端地址和端口。
  • Redis 4.0 及以上基础版:用 IP 白名单控制,不支持安全组。

白名单的几个细节(见 dcs-ug-190812001):

  • 没有添加白名单或停用白名单时,所有与实例 VPC 互通的 IP 都能访问。
  • 白名单创建后立即生效,但对已有长连接,需要重连后才生效。
  • 每个实例最多 4 个白名单分组,合计最多 100 个 IP/地址段(见 dcs-ug-190812001),不支持 0.0.0.0 和 0.0.0.0/0。
  • 客户端 IP 变了(例如容器重建、弹性伸缩新开机器),要把新 IP 加进去。

常见的情况是:在安全组里折腾半天,其实实例是 4.0 以上版本,根本不看安全组,看的是白名单。

3. 公网访问

  • Redis 4.0 及以上:按「开启Redis公网访问」的流程开启并获取公网地址。
  • Redis 3.0:需要安全组规则正确。SSL 关闭时入方向放通 6379,SSL 开启时放通 36379;开启 SSL 后必须装 Stunnel,连接命令里写 Stunnel 客户端的地址和端口,而不是控制台展示的公网地址。另外如果绑定的 EIP 被解绑,公网访问会被关闭,需要重新开启。
  • 子网关联了网络 ACL 且出方向有限制时,也会出现 Connection reset by peer,需要放开。

4. 用 redis-cli 验证

在客户端所在 ECS 上直接连一次(命令格式取自官方页面):

# 单机、主备、Proxy 集群
./redis-cli -h {dcs_instance_address} -p 6379 -a {password}
# Cluster 集群:必须加 -c
./redis-cli -h {dcs_instance_address} -p 6379 -a {password} -c

我习惯先 PING 一下再执行业务命令:连不上就回到上面查 VPC、安全组或白名单;能连上再往下层查。

三、认证与命令层

1. 密码

官方说明:密码错误时端口可以连上,但鉴权会失败,所以「telnet 通但应用报错」时先核对密码。忘记密码可以在控制台重置。

2. 高危命令被重命名

DCS 支持对部分高危命令重命名(见 dcs-ug-1009002):仅 Redis 4.0 及以上支持,可重命名的有 command、keys、flushdb、flushall、hgetall、scan、hscan、sscan、zscan,Proxy 集群另支持 dbsize、dbstats。重命名后执行原命令会报 unknown command,页面也不会显示重命名后的命令。

两个容易踩的坑:

  • 每次重命名会覆盖上一次,漏填之前改过的命令,它就会恢复原名。
  • 单机、主备、Cluster 集群重命名过程中可能自动重启实例,是否重启看小版本和操作窗口提示,Proxy 集群和读写分离重命名不会重启;单机实例重启会清空数据,要在低峰期并确认影响后再做。

3. Cluster 集群与客户端

redis-cli 连 Cluster 集群不加 -c,访问不在当前节点的 Key 时会收到重定向错误(开源 Redis 行为是返回 MOVED)。应用侧同理,Cluster 集群要用支持集群协议的客户端(如 JedisCluster);Proxy 集群则可以像单机一样访问。

四、连接数层

1. maxclients 是单节点上限

参数 maxclients(见 dcs-ug-0312024):取值范围 1000~50000,默认 10000。官方特别说明这是**单节点(单分片)**上限:集群实例单节点上限 = 实例连接数上限 / 分片数;单机、主备实例单节点上限即实例最大连接数。读写分离实例暂不支持该参数。官方故障排除页对「拒绝连接」给的处理就是调整 maxclients。参数修改后立即生效,不需要手动重启实例(见 dcs-ug-0312024)。

2. 先看是不是连接泄漏

调大之前先看监控指标「活跃的客户端数量」。常见的情况是:应用每次请求新建连接不释放,或者连接池上限设得过大,实例数一扩容总连接数就翻倍。官方内存排查页也提醒:短连接性能差,推荐使用带连接池的客户端。

以 Jedis 为例,官方 FAQ《连接池选择及Jedis连接池参数配置建议》(dcs-faq-211230001)建议的核心约束是:单个客户端 maxTotal × 客户端节点数(容器或虚机数量)要小于实例最大连接数。例如主备实例 maxclients 为 10000、单个客户端 maxTotal 为 500,最多支撑 20 个客户端节点。另外 maxIdle 建议与 maxTotal 一致,testWhileIdle 建议开启。

3. 空闲连接被断开

参数 timeout 表示客户端空闲 N 秒后断开连接,取值 0~7200 秒,默认 0(不断开)。如果有人把它改成了非零值,而连接池又没有空闲检测,就会出现「隔一段时间第一次请求必失败」的现象。

五、带宽与性能层:Read timed out 从哪来

1. 带宽被流控

实例带宽达到规格上限时,可能出现部分连接超时。官方建议看监控指标「流控次数」确认是否触顶,再查大 Key、热 Key;Redis 4.0 及以上支持在控制台做带宽扩容。

2. 阻塞命令与慢查询

官方明确点名:keys 会消耗大量资源、造成 Redis 阻塞,建议用 scan 替代并避免频繁执行;业务不需要时可以用上面的命令重命名禁掉它。

慢查询在「分析与诊断 > 慢查询」查看(见 dcs-ug-190926001):

  • slowlog-log-slower-than 默认 10000 微秒,即 10ms;slowlog-max-len 默认 128 条。
  • 界面只能查询七天内的记录,实例重启后查不到重启前的记录,出问题后尽早导出。
  • Proxy 集群和读写分离实例在部分区域区分 Proxy 节点和 Redis Server 的慢查询;客户端 IP 要开启「客户端IP透传」后才是真实地址。

3. 客户端超时与 unexpected end of stream

官方对 unexpected end of stream 的建议是调优 Jedis 连接池参数并排查大 Key(见《连接池选择及Jedis连接池参数配置建议》,dcs-faq-211230001)。这里的命令超时 timeout 是 Jedis 客户端命令超时(毫秒),和实例参数 timeout(秒,空闲断连)不是一回事;官方建议不小于 210ms,maxWaitMillis(获取连接等待时间)按「业务最长容忍时间减去命令超时」来估算。超时设得过短,网络稍有抖动就会大量报错。

六、内存层:打满之后会发生什么

1. 先读懂内存利用率

官方「Redis实例内存使用率高问题排查和解决」(dcs-trouble-210918001)说明:由于主从同步、延迟释放等机制,内存利用率可能略微超过 100%,这属于正常情况,表示内存已写满,需要扩容或清理;通常超过 95% 就要关注。判断是否真的内存不足,看同一时段的「已逐出的键数量」和「命令最大时延」是否明显上升。

2. 逐出策略决定写满后的行为

maxmemory-policy 有 8 种取值(见 dcs-faq-0427031)。默认值:2020 年 7 月及之后创建的实例为 volatile-lru;2020 年 7 月之前创建且没改过的实例为 noeviction。

关键一点:volatile-lru、volatile-random、volatile-ttl 只会逐出设置了过期时间的 Key。官方写明,当没有满足条件的 Key 时,这几种策略的表现与 noeviction 相同,即写命令直接返回错误(开源 Redis 的报错一般是 OOM command not allowed when used memory > 'maxmemory')。所以「明明是默认策略,为什么不自动淘汰」,答案往往是业务写入的 Key 都没设过期时间。纯缓存场景可以评估改为 allkeys-lru 或 allkeys-lfu。

3. 找出占内存的东西

  • 大 Key:「分析与诊断 > 缓存分析」的「大Key分析」页签(见 dcs-ug-190808001)。主备、读写分离和集群实例分析的是备节点,影响较小;单机实例分析主节点,访问性能会略受影响,建议低峰期执行,且不要和自动备份时间重叠。
  • 热 Key:只有 Redis 4.0 及以上支持,且 maxmemory-policy 必须是 allkeys-lfu 或 volatile-lfu。
  • 过期但未释放的 Key:Redis 采用惰性删除加定期抽样删除,过期 Key 不一定立刻释放内存。「过期key扫描」页签可以扫描释放(见 dcs-ug-210330002),仅 Redis 4.0 及以上支持、企业版不支持,在主节点执行,会占用 CPU,要放在低峰期。
  • Key 不多但内存满:官方提示可能是客户端输出缓冲区(output buffer)占用过多,可以用 redis-cli --bigkeys 扫描后执行 info 查看。

4. 处理与预防

官方给出的规范(dcs-trouble-210918001、dcs-faq-0521005):

  • String 类型 Value 控制在 10KB 以内;Hash、List、Set、Zset 单 Key 元素建议不超过 5000 个。
  • 大 Key 要拆分,或迁出到其他存储;禁止用 DEL 直接删大 Key,可能造成阻塞甚至主备倒换,Redis 4.0 及以上建议用 UNLINK。
  • 合理设置过期时间,避免历史数据堆积。
  • 只做缓存、能容忍数据丢失时,可以把 appendonly 改为 no 关闭 AOF 持久化。
  • 以上做完仍然很高,再在低峰期变更实例规格。

七、推荐排查顺序

  1. 抄下完整报错,打开实例监控,看内存利用率、活跃客户端数量、流控次数、命令最大时延。
  2. 在应用所在 ECS 上用 redis-cli 连一次,确认同 VPC、地址和端口正确。
  3. 连不上:3.0/6.0 企业版查安全组,4.0 及以上基础版查白名单;长连接改完白名单要重连。
  4. 能连但鉴权失败:核对密码;报 unknown command 查命令重命名;Cluster 查 -c 和客户端类型。
  5. 新连接被拒或拿不到连接:对比活跃客户端数与 maxclients(注意按分片算),核对 maxTotal × 节点数。
  6. 超时变多:看流控次数和慢查询,排查 keys、大 Key、热 Key。
  7. 写入报错:看内存利用率和逐出策略,确认 Key 是否设了过期时间。
  8. 内存高:做大 Key 分析、过期 Key 扫描,查 output buffer,最后再考虑扩容。

八、速查表

现象 优先怀疑 先看哪里
连接超时 不同 VPC 或访问控制 VPC、安全组或白名单
改了安全组仍连不上 实例是 4.0 及以上基础版 白名单
白名单改了旧服务仍能连 长连接未重连 应用重连
公网 3.0 连接被重置 安全组、ACL 或未用 Stunnel 6379/36379 规则
unknown command 命令已被重命名 命令重命名记录
Cluster 访问报重定向 没加 -c 或客户端不支持集群 连接命令、客户端
新连接被拒 达到单节点连接上限 maxclients、活跃客户端数量
隔一阵首次请求失败 timeout 断开空闲连接 timeout 参数、连接池检测
偶发 Read timed out 带宽流控或阻塞命令 流控次数、慢查询
内存略超 100% 已写满(属正常现象) 扩容或清理
写入报错、不逐出 Key 未设过期时间 maxmemory-policy
Key 不多但内存满 输出缓冲区 info
某分片内存特别高 大 Key 大Key分析

九、常见坑

  • 在安全组上反复排查:4.0 及以上基础版看的是白名单,不是安全组。
  • 把 maxclients 当整实例上限:集群实例是按分片算的。
  • 以为默认策略会自动淘汰:volatile-* 只淘汰带过期时间的 Key,没有就等同 noeviction。
  • 用 DEL 删大 Key:可能阻塞甚至触发主备倒换,用 UNLINK。
  • 业务高峰做大 Key 分析或过期 Key 扫描:都会遍历键空间,放到低峰期。
  • 重命名命令时漏填旧命令:新的重命名会覆盖旧的,漏掉的命令会恢复原名。

十、官方参考

连接Redis网络要求
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-0312007.html
配置Redis访问白名单
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190812001.html
Redis连接失败问题排查和解决
https://support.huaweicloud.com/trouble-dcs/dcs-trouble-0715001.html
修改DCS实例配置参数
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-0312024.html
连接池选择及Jedis连接池参数配置建议
https://support.huaweicloud.com/dcs_faq/dcs-faq-211230001.html
重命名DCS实例高危命令
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-1009002.html
查看Redis实例的慢查询记录
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190926001.html
Redis实例的数据逐出策略是什么?
https://support.huaweicloud.com/dcs_faq/dcs-faq-0427031.html
Redis实例内存使用率高问题排查和解决
https://support.huaweicloud.com/trouble-dcs/dcs-trouble-210918001.html
查找Redis实例大Key和热Key
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-190808001.html
扫描并删除Redis实例的过期Key
https://support.huaweicloud.com/usermanual-dcs/dcs-ug-210330002.html
为了减少大Key和热Key过大,有什么使用建议?
https://support.huaweicloud.com/dcs_faq/dcs-faq-0521005.html
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。