ECS部署服务时被安全组挡在外面的两小时
服务是内部订单查询接口,部署环境是一台 ECS,规格为 4 vCPU、8 GiB 内存,系统盘 40 GiB,使用 Huawei Cloud Linux 3.0。应用是 Java 17 的 Spring Boot 3.2.5,包体约 86 MiB,监听 8080 端口。发布脚本由 shell 编写,systemd 负责常驻,配置文件放在 /etc/order-api。
第一次部署失败时,我看到的是 curl 超时:
curl -v --connect-timeout 5 http://127.0.0.1:8080/health
# * Connection refused
本机请求被拒绝,说明进程没有监听成功。我检查 journalctl 后发现 Java 启动时报错:
Caused by: java.net.BindException: Address already in use
Process: java, PID: 2418
8080 被旧的 order-api 进程占用,systemd 启动第二个实例时自然失败。杀掉旧进程后,systemd 显示 active,服务本机访问也正常:
systemctl status order-api --no-pager
curl http://127.0.0.1:8080/health
# {"status":"UP"}
但从测试机访问 10.0.3.21:8080,仍然超时,耗时大约 2 分 18 秒。我一开始怀疑是监听地址配置错了,查看 ss -lntp 后确认是 0.0.0.0:8080,不是 127.0.0.1。这个方向排除后,才想起测试机所在子网和 ECS 不在同一个 VPC,安全组没有放行。
安全组里的空白
ECS 绑定的安全组名称是 sg-app-prod,入方向规则只有来自 10.0.1.0/24 的 22 端口,以及来自 10.0.2.0/24 的 8080 端口。测试机地址是 10.0.3.37,规则表里没有对应网段。控制台里没有即时报错,规则保存成功,但流量依旧被丢弃。
我在安全组临时添加了一条来源为 10.0.3.0/24、协议 TCP、端口 8080 的规则,控制台显示规则已生效。实际测试等待了 38 秒,随后接口返回 200。这个延迟让我意识到,规则下发不是瞬间完成的,发布脚本不能把“保存成功”当成“流量已经可达”。
为了让脚本能判断状态,我把原来的 curl 调用改成:
for i in $(seq 1 12); do
code=$(curl -s -o /dev/null -w '%{http_code}' \
--connect-timeout 3 http://10.0.3.21:8080/health)
[ "$code" = "200" ] && exit 0
sleep 5
done
exit 1
这样最多等待 60 秒。临时规则后来没有保留,我改成了只允许测试机的单 IP 访问,并把生产入口放到 API Gateway 后面。API Gateway 的后端地址仍然指向 ECS 内网 IP,安全组只放行网关私网访问网段 10.0.20.0/24。
磁盘和权限也得一起看
第一次部署时,systemd 的 User 是 root,应用启动后把日志写到了 /var/log/order-api。目录没有单独挂盘,运行一天后我用 df -h 查看,根分区使用率到了 91%。当时这台机器还有 12 GiB 可用空间,我没有马上扩容,而是先确认日志是否真的需要永久保留。
我查了应用配置,发现 logback 每天生成一个文件,单个日志文件可以达到 300 MiB 到 700 MiB,而 ECS 根盘只有 40 GiB。为了避免一次发布把磁盘写满,我把日志目录改到 /data/logs/order-api,并在 /etc/fstab 中增加了挂载项:
/dev/vdb1 /data xfs defaults,nofail 0 2
这块 100 GiB 的数据盘原本用于备份,挂载到 /data 后,root 分区使用率降到 63%。不过 fstab 里仍然需要保留 nofail,否则磁盘挂载异常可能导致服务器启动卡住。我又补了一个 systemd 的依赖关系:
[Unit]
RequiresMountsFor=/data/logs/order-api
After=network-online.target
这一步是我第一次部署漏掉的。应用没有启动时,systemd 只报 failed,没有明确指出数据盘不存在。补上 RequiresMountsFor 后,错误信息更直接了。
配置权限和启动方式
应用配置中原本有数据库账号和对象存储访问密钥,我最初直接复制到了 /etc/order-api/application-prod.yml。文件权限是 644,任何本地用户都能读取。这个做法不规范,尤其这台 ECS 上还部署了运维脚本。
我改成 service 专用用户,并把配置权限收紧:
useradd --system --home /opt/order-api --shell /sbin/nologin order-api
chown -R order-api:order-api /opt/order-api
chmod 750 /opt/order-api/config
chmod 640 /etc/order-api/application-prod.yml
密钥后来移到了华为云 KMS,通过应用启动时读取临时凭据。ECS 使用 4 vCPU、8 GiB 内存规格,部署包解压后约 420 MiB,首次启动耗时 19 秒,第二次启动约 7 秒。启动参数增加了堆内存限制,避免多个实例同时发布时把机器内存吃满:
ExecStart=/usr/bin/java -Xms512m -Xmx2g \
-Dfile.encoding=UTF-8 -jar /opt/order-api/order-api.jar
我只保留一个实例。这个接口日请求量不到 4 万次,2 GiB 堆内存已经够用,没必要为了发布方便开两个副本。
发布脚本中的实际调整
旧脚本只用 systemctl restart,失败后没有检查监听端口,也没有验证健康接口。我把发布流程拆成配置校验、服务重启、端口检查、接口检查四步,任一步失败就停止后续操作:
set -eu
/opt/order-api/bin/check-config.sh
systemctl daemon-reload
systemctl restart order-api
systemctl is-active --quiet order-api
ss -lnt | grep -q ':8080'
curl --fail --max-time 5 http://127.0.0.1:8080/health >/dev/null
有一次发布时,check-config.sh 返回了退出码 1,错误是:
missing required setting: ORDER_API_DB_PASSWORD
旧脚本会忽略这个错误继续重启,最终服务启动失败,页面表现为 502。现在配置校验放在 restart 之前,发布失败时保留旧进程,接口没有中断。这一次故障排查总共用了约 1 小时 42 分钟,主要时间花在确认安全组规则和网络路径上。
费用和后续安排
测试期间我临时保留了一台 2 vCPU、4 GiB 内存的 ECS,按华为云北京一按需计费粗略估算,24 小时实例费用约 1.1 元,数据盘和公网流量另算。临时公网 IP 在测试结束后也释放了,避免继续产生网络费用。现在生产环境的 ECS 只保留内网地址,安全组入方向规则限制到固定网段,测试账号通过堡垒机进入。
目前还没解决的是安全组规则变更后的可观测性。我还没有把规则下发延迟和健康检查失败直接关联到告警,只是把发布脚本的重试时间从 20 秒调到了 60 秒。下一步准备接入 CES,给安全组变更、ECS 磁盘使用率和 8080 端口不可达分别设置阈值,避免再次依靠人工逐条排查。
- 点赞
- 收藏
- 关注作者
评论(0)