ECS 重启后服务起不来:从启动项、磁盘挂载到依赖服务的一次排查
服务器重启本来是最常用的恢复手段,重启完了,服务却起不来了。登录上去一看,机器是通的,系统也起来了,偏偏业务服务不在。第一反应往往是再重启一次——再重启一次,服务可能真的起来了,也可能还是起不来了,而且两次重启之间,启动失败的现场已经被冲掉了。重启后服务起不来,先别急着再重启,先搞清楚服务到底卡在哪一步:是压根没被拉起来、拉起来又退出了,还是拉起来了但端口没监听、依赖没就绪,再决定怎么治。
一、先分清:是没启动、启动失败,还是启动了但不可用
服务起不来,听起来是一件事,实际上是三种完全不同的状态,排查方向也完全不同。先看服务现在到底处在哪个状态,再动手。
第一种,没启动。系统起来了,服务进程根本不存在,启动项里也没有它,或者启动项里有它但开机自启没生效。这种情况和服务本身有没有 bug 关系不大,问题出在“谁负责把它拉起来”这一环:是开机自启没配、配了但被禁用了,还是启动顺序排在了它依赖的东西前面。
第二种,启动失败。进程起来过,又退出了,或者启动命令直接报错退出。系统日志和服务自己的日志里一般会留下一句明确的原因:配置文件写错了、端口被占了、数据盘没挂上、依赖的数据库连不上。启动失败最怕的不是报错,而是报错被吞掉了——服务退出了,日志里却什么都没写,或者日志写到了一个没人看的地方。
第三种,启动了但不可用。进程在,端口也在监听,从本机访问却返回错误,或者从外面访问直接不通。这种情况服务其实已经起来了,问题出在它对外提供服务的那一环:监听的地址不对、依赖的服务还没就绪、配置里写的是旧地址、防火墙或者安全组把路挡住了。
这一步的目标很简单:写清楚三件事——服务进程在不在、端口在不在监听、从本机访问和从外面访问分别是什么结果。写清楚了再动手,后面每一步都有据可查。
二、定位卡在哪一步:按启动顺序往下查
确认服务处在哪个状态之后,下一步是按启动顺序往下查。一次重启,系统要做的事情是有顺序的:先挂载磁盘、再拉起网络、再按依赖关系拉起一个个服务、最后服务自己去连数据库、读配置、监听端口。哪一步卡住了,服务就停在哪一步。
先看系统这一段:开机用了多久、有没有哪一步明显拖长、磁盘是不是都挂上了。数据盘没挂上是最常见的一种:服务要读的配置文件、数据文件都在数据盘上,盘没挂,服务一启动就报错退出。排查时看一眼挂载列表:数据盘在不在、挂载点对不对、挂载是不是只读。挂载点对不上,服务读到的就是一个空目录,报错却可能只写一句“文件不存在”,很容易误判成是文件被删了。
再看服务自己的启动记录:启动命令有没有被执行过、执行了几次、每次退出的原因是什么。很多服务第一次启动失败之后,系统还会再试几次,每次都失败,最后就停在那里不再试了。排查时别只看最后一次,要看第一次失败的原因——第一次的原因才是病因,后面几次往往只是同一个原因的重复。
还要把启动时间和系统事件对上:服务第一次启动失败的那个时间点,系统上发生了什么?是不是磁盘还没挂好、网络还没就绪、依赖的数据库还没起来。时间点对上了,嫌疑范围基本就锁定了。时间点对不上,也别硬凑,继续往下看服务日志和系统日志,找找有没有报错、超时、重试。
这一步做完,你手里应该有一张清单:磁盘挂载是否正常、服务被拉起过几次、第一次失败的原因是什么、失败的时间点对应着什么系统事件。有了这张清单,才轮到动手处理。
三、常见的四个元凶:自启没配、挂载没上、依赖没就绪、配置还是旧的
重启后服务起不来,听起来原因很多,实际工作中更常见的,是几种“平时不重启感觉不到、一重启就暴露”的情况。
第一种,自启没配,或者配了但没生效。服务平时是手动启动的,重启之后没人去手动拉它,服务自然不在。还有一种更隐蔽的:自启配了,但启动项被禁用了,或者启动项指向的脚本路径变了、权限变了,系统拉它的时候直接跳过,连报错都没有。排查时看一眼启动项列表:服务在不在里面、状态是启用还是禁用、指向的路径还存不存在。确认是自启的问题,补上自启配置、确认下次重启能自动拉起来,比每次重启后手动补拉一次要可靠得多。
第二种,挂载没上,或者挂载晚了。服务依赖数据盘,系统启动时数据盘却没挂上,或者挂是挂上了、但挂在服务启动之后。服务一启动,读不到数据文件,直接退出;等盘挂好了,服务已经退出了,不会自己再起来。排查时看一眼挂载时间和服务启动时间的先后:是不是服务先启动、盘后挂载;如果是,先把启动顺序理顺,让服务等盘挂好了再启动,或者让服务启动失败后能自动重试几次。
第三种,依赖没就绪。服务要连数据库、要连缓存、要连另一个服务,重启之后这些依赖还没起来,服务一启动就连不上,直接退出。更常见的是依赖起来了、但还没准备好接受连接:数据库进程在、端口也在监听,可数据还没加载完,连接过去直接被拒绝。排查时看一眼依赖的就绪状态:是不是进程在、但服务还没真正可用;如果是,先给服务加一个启动前的等待和重试:依赖没就绪就等一等、重试几次,而不是一连不上就直接退出。
第四种,配置还是旧的。重启之前改过配置,改完没验证、或者验证的是另一份配置,重启之后服务按旧配置启动,读不到新地址、连不上新数据库、监听的还是旧端口。排查时看一眼服务实际读的是哪一份配置:是不是启动命令里写死的路径、是不是环境变量里还是旧值。确认是配置的问题,先把配置改对、验证通过,再拉起服务,别在启动失败的时候反复改配置、反复重启。
这四种情况,排查时不用一次全改,先确认是哪一种,再改那一种。重启后服务起不来,最怕“感觉是服务坏了”,重装一圈发现只是自启没配,白白折腾了业务、现场也没了。
四、应急处理:先留现场,再动手,别一上来就再重启
服务已经起不来、业务已经受影响的时候,确实需要先应急。但应急也有顺序:先留现场,再动手;先动单个环节,再考虑整机重启。
留现场的意思是:动手之前,先把关键信息记下来——服务进程在不在、端口在不在监听、系统日志和服务日志里最近的报错是什么、磁盘挂载和启动项分别是什么状态。这几分钟的记录,是事后定位病因最重要的线索。直接再重启一次,现场就没了,服务起来了,病因也丢了,下次重启还会再来一次。
动手时,优先处理嫌疑最大的单个环节。如果是数据盘没挂,先把盘挂好、确认挂载点对了,再手动拉一次服务;如果是依赖没就绪,先确认依赖真的可用了,再拉服务;如果是配置写错了,先把配置改对、验证通过,再拉服务。手动拉一次,确认服务真的起来了、业务真的恢复了,说明方向找对了;如果服务还是起不来,说明嫌疑环节找错了,换一个方向,别在同一个地方反复重启。
还有一个细节:手动拉服务的时候,顺手看一眼它是不是真的在监听、是不是真的能对外提供服务。进程起来了不等于业务恢复了,从本机访问一次、从外面访问一次,两个结果都正常,才算真的恢复了。只看进程在不在,很容易误判成“已经好了”,业务其实还断着。
五、治本:让重启变得可预期,而不是每次都碰运气
应急处理完,服务起来了,工作才做了一半。治本要做三件事:把自启配好、把启动顺序理顺、把失败重试加上,让下一次重启不再靠运气。
把自启配好,是让每一个需要开机自动拉起的服务,都有明确的启动项、明确的启用状态、明确的启动命令。配完之后不要只看配置写进去了,要实际验证一次:重启一次,看服务是不是真的自己起来了。没验证过的自启配置,和没配是一样的。
把启动顺序理顺,是让服务等它依赖的东西就绪了再启动。数据盘要先挂好、网络要先就绪、数据库要先可用,服务再启动。启动顺序不是靠“感觉应该先起来”来定的,要按实际的依赖关系来排,排完之后同样要实际验证一次。
把失败重试加上,是给服务一个“第一次没起来、再试几次”的机会。依赖晚几秒就绪、磁盘晚几秒挂好,服务第一次启动失败了,重试几次可能就起来了。重试不是为了掩盖病因,而是为了让短暂的“还没就绪”不至于直接变成“服务起不来”。重试的次数和间隔要配得合理:重试太少,起不到作用;重试太多,又会把日志刷满、把依赖打垮。
加监控,是把重启之后的关键信号都盯起来:服务进程在不在、端口在不在监听、从本机访问是不是正常。只盯进程在不在不够,要盯业务是不是真的可用。告警阈值不要设得太晚:等到用户先发现业务断了才告警,留给处理的时间就不多了。重启之后主动检查一遍,比等告警要从容得多。
六、落地清单:重启后服务起不来按这个顺序走
第一,先分清服务处在哪个状态:进程在不在、端口在不在监听、从本机访问和从外面访问分别是什么结果。第二,按启动顺序定位卡在哪一步:磁盘挂载是否正常、服务被拉起过几次、第一次失败的原因是什么、失败的时间点对应着什么系统事件。第三,对照四种常见元凶——自启没配、挂载没上、依赖没就绪、配置还是旧的,确认是哪一种再动手。第四,应急时先留现场,再处理嫌疑最大的单个环节,手动拉一次服务、确认业务真的恢复了,实在顶不住先切到备用方案。第五,治本要做把自启配好、把启动顺序理顺、把失败重试加上三件事,配完之后实际重启验证一次,让下一次重启不再靠运气。
重启后服务起不来这件事,和磁盘、内存、CPU、网络一样,规划比救火更重要。服务器早晚要重启,重启之后服务能不能自己起来,平时不验证,关键时刻才发现没配自启,就只能手动补拉。定期做一次重启演练,看一眼服务是不是真的能自己起来,比半夜被“服务起不来”的告警叫醒要从容得多。重启后服务起不来不可怕,可怕的是不看状态、不留现场,上来就再重启一遍,重启完又什么都不改。按清单走一遍,重启后服务起不来就只是一件按顺序处理的小事。
- 点赞
- 收藏
- 关注作者
评论(0)