微服务日志治理:用华为云 LTS 实现分布式系统秒级检索与异常告警
【摘要】 一、背景与痛点公司核心交易系统拆分为 23 个微服务后,日志散落在 40 多台 ECS 和 CCE 容器中。一次下单失败排查需要依次登录订单服务、库存服务、支付服务、消息服务四台机器,用 grep 跨节点拼凑时间线,平均定位耗时 47 分钟。具体问题:日志分散:每个服务写本地文件,磁盘满就轮转删除,历史日志保留不超过 3 天检索低效:grep -r "ERROR" /var/log/app/...
一、背景与痛点
公司核心交易系统拆分为 23 个微服务后,日志散落在 40 多台 ECS 和 CCE 容器中。一次下单失败排查需要依次登录订单服务、库存服务、支付服务、消息服务四台机器,用
grep 跨节点拼凑时间线,平均定位耗时 47 分钟。具体问题:- 日志分散:每个服务写本地文件,磁盘满就轮转删除,历史日志保留不超过 3 天
- 检索低效:
grep -r "ERROR" /var/log/app/*.log在多台机器串行执行,耗时且容易漏 - 无结构化:日志格式不统一,有的是纯文本,有的是 JSON,无法做字段级统计
- 告警缺失:靠人工刷日志发现异常,用户投诉来了才知道系统出错
- 容量无规划:重要日志和调试日志混在一起,磁盘 IO 被 debug 日志打满
核心诉求:集中采集、秒级检索、字段结构化、实时告警、低成本长期存储。
二、方案设计
2.1 为什么选 LTS 而不是 ELK 自建
|
维度
|
自建 ELK
|
华为云 LTS
|
|---|---|---|
|
部署运维
|
需维护 ES 集群、Logstash、Kibana
|
全托管,控制台开箱即用
|
|
扩容
|
手动加节点、调分片
|
自动弹性,无需干预
|
|
采集端
|
Filebeat 自配
|
ICAgent 一键安装,自动发现容器
|
|
成本
|
机器+运维人力
|
按日志量计费,小规模几乎免费
|
|
告警
|
需额外接 ElastAlert 等
|
内置关键词+SQL 告警,直连 SMN
|
2.2 整体架构
微服务节点(ECS / CCE)
│
├── ICAgent(日志采集器)
│ ├── 主机日志:/var/log/app/*.log
│ └── 容器日志:/var/lib/docker/containers/*/*-json.log
│
▼
云日志服务 LTS
├── 日志组:prod-trade-group
│ ├── 日志流:order-service
│ ├── 日志流:inventory-service
│ ├── 日志流:payment-service
│ └── 日志流:gateway-access
│
├── 结构化解析(JSON / 正则提取)
├── 仪表盘(QPS、错误率、延迟分布)
└── 告警规则(关键词 + SQL 统计)
│
▼
消息通知服务 SMN → 企微机器人 / 邮件 / 短信
2.3 关键设计决策
- 按服务拆分日志流:每个微服务独立日志流,避免单流过大影响检索性能
- 结构化优先:所有新服务强制 JSON 格式日志,旧服务通过正则提取关键字段
- 分层存储:热日志保留 7 天(高频检索),冷日志转储 OBS 低频存储保留 180 天
- 告警分级:ERROR 关键词实时告警(P0),ERROR 率超阈值告警(P1),INFO 级不告警
三、实操步骤
3.1 创建日志组与日志流
LTS 控制台 → 日志管理 → 创建日志组:
- 名称:
prod-trade-group - 企业项目:default
在日志组下创建日志流:
|
日志流名称
|
对应服务
|
保留天数
|
|---|---|---|
|
order-service
|
订单服务
|
7
|
|
inventory-service
|
库存服务
|
7
|
|
payment-service
|
支付服务
|
7
|
|
gateway-access
|
API 网关访问日志
|
3
|
|
app-error-all
|
全量 ERROR 汇聚流
|
30
|
3.2 安装 ICAgent 采集器
ECS 主机安装:
# 下载安装脚本
wget https://icagent-cn-north-4.obs.cn-north-4.myhuaweicloud.com/ICAgent_linux/amd64/install.sh
# 执行安装(需 AK/SK 或委托授权)
bash install.sh -a <access_key> -s <secret_key> -r cn-north-4 -g <log_group_id>
CCE 容器安装:通过 Helm Chart 一键部署 DaemonSet:
helm repo add lts https://lts-charts.obs.cn-north-4.myhuaweicloud.com
helm install lts-agent lts/icagent \
--set region=cn-north-4 \
--set logGroupId=<log_group_id> \
--set accessKey=<ak> \
--set secretKey=<sk> \
-n lts-system --create-namespace
3.3 配置日志采集路径
控制台 → 日志接入 → 创建接入规则:
主机日志接入(订单服务):
- 日志类型:路径采集
- 日志路径:
/var/log/order-service/application.log - 日志格式:JSON
- 目标日志流:
order-service - 解析规则:自动识别 JSON 字段
容器日志接入(库存服务):
- 日志类型:容器标准输出
- 命名空间:
prod-inventory - Pod 标签:
app=inventory-service - 目标日志流:
inventory-service - 解析规则:正则提取
正则示例(提取时间、级别、类名、消息):
^(?<time>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})\s+(?<level>\w+)\s+\[(?<thread>[^\]]+)\]\s+(?<class>[\w\.]+)\s+-\s+(?<msg>.*)
3.4 结构化字段与仪表盘
JSON 日志示例(改造后服务输出格式):
{
"timestamp": "2024-01-15T10:23:45.123Z",
"level": "ERROR",
"service": "order-service",
"traceId": "a3f2e1d4c5b6",
"spanId": "b4c5d6e7",
"userId": "U10086",
"orderId": "ORD-20240115-001",
"msg": "库存扣减失败: timeout",
"durationMs": 3200
}
LTS 自动提取字段后,创建仪表盘:
|
图表
|
查询语句
|
说明
|
|---|---|---|
|
每分钟错误数
|
`level:ERROR
|
select count(*) as cnt, date_format(time, '%H:%i') as minute group by minute order by minute`
|
|
TOP 10 异常服务
|
`level:ERROR
|
select service, count(*) as cnt group by service order by cnt desc limit 10`
|
|
平均响应时间
|
`durationMs:>0
|
select avg(durationMs) as avg_ms, service group by service`
|
|
失败订单 traceId
|
`msg:"库存扣减失败"
|
select traceId, orderId, count(*) group by traceId, orderId`
|
3.5 告警规则配置
规则 1:关键词实时告警(P0)
- 名称:
prod-error-immediate - 日志流:
app-error-all - 触发条件:日志内容包含
ERROR或Exception - 统计周期:1 分钟
- 触发次数:连续 1 次
- 通知:SMN 主题 → 企微机器人(@值班人)
规则 2:错误率阈值告警(P1)
- 名称:
prod-error-rate-high - 日志流:
gateway-access - 查询语句:
level:ERROR | select count(*) as err_cnt, (select count(*) from log) as total, (err_cnt * 100.0 / total) as rate - 触发条件:
rate > 5 - 统计周期:5 分钟
- 触发次数:连续 2 次
- 通知:SMN → 邮件 + 企微
规则 3:慢请求告警(P2)
- 查询语句:
durationMs:>3000 | select count(*) as slow_cnt - 触发条件:
slow_cnt > 10 - 统计周期:5 分钟
3.6 日志转储到 OBS
LTS 控制台 → 日志转储 → 创建转储任务:
- 源日志流:
order-service - 目标 OBS 桶:
company-log-archive - 转储格式:JSON(压缩)
- 转储周期:每天 0 点
- 存储路径:
logs/order/{date}/ - 生命周期:OBS 侧设置 30 天后转低频,180 天后归档
四、验证结果
|
验证项
|
操作
|
预期
|
实际
|
|---|---|---|---|
|
日志采集延迟
|
在 ECS 写入一条测试日志
|
10 秒内出现在 LTS
|
6-8 秒
|
|
结构化解析
|
发送 JSON 日志
|
字段可点击筛选
|
全部正确提取
|
|
全文检索
|
搜索
traceId:a3f2e1d4c5b6 |
跨日志流返回所有相关记录
|
3 秒返回 23 条
|
|
告警触发
|
手动写入 ERROR 日志
|
5 分钟内企微收到通知
|
2 分 40 秒
|
|
仪表盘刷新
|
查看实时图表
|
显示最近 5 分钟数据
|
正常
|
|
转储任务
|
检查 OBS 桶
|
生成对应日期目录和文件
|
次日 0:05 完成
|
对比改造前,故障定位时间从平均 47 分钟降至 4 分钟以内。
五、生产避坑清单
❌ 常见错误
- 所有服务写同一日志流:单流日志量过大,检索变慢,权限无法隔离
- 日志格式不统一:有的用 tab 分隔,有的用空格,正则写到崩溃
- 采集路径配成目录而非文件:ICAgent 不递归扫描子目录,日志漏采
- 容器日志不配
stdout:应用写文件到 emptyDir,Pod 重启日志全丢 - 告警阈值设太低:DEBUG 日志里偶尔有 ERROR 就狂发告警,变成狼来了
- 不配日志轮转:本地日志文件无限增长,磁盘打满导致节点宕机
- 敏感信息进日志:用户密码、身份证号明文打印,合规审计不通过
- 不限制单条日志大小:异常堆栈 2MB 一条,LTS 截断且计费飙升
- 仪表盘查询写
*:全量扫描,慢且费钱 - 转储 OBS 不设生命周期:日志越攒越多,存储费超预期
✅ 正确姿势
- 一服务一日志流,按环境(prod/staging)再分组
- 强制 JSON 格式日志,字段命名统一(
traceId不是trace_id也不是traceID) - 容器应用必须输出到 stdout/stderr,由 ICAgent 采集
- 告警分级:P0 实时电话,P1 企微,P2 邮件日报
- 本地日志用 logrotate 按 100MB 轮转,保留 3 份
- 日志脱敏:在应用层或 ICAgent 过滤规则中屏蔽敏感字段
- 单条日志限制 1MB,超长堆栈截断
- 仪表盘查询指定时间范围和字段,避免全扫
- OBS 转储桶设生命周期策略,自动降冷/删除
- 定期审查日志量 TOP 10 服务,优化日志级别
六、总结
从分散的本地日志文件到集中式日志平台,LTS 解决了微服务架构下日志管理的三个核心问题:
- 找得到:秒级全文检索,跨服务链路追踪通过
traceId一键串联 - 看得懂:结构化字段让日志从纯文本变成可聚合、可统计的数据
- 叫得醒:告警从“人盯屏幕”变成“机器通知人”,故障发现时间从小时级降到分钟级
成本方面,日均 200GB 日志量,LTS 标准存储 + 索引费用约 ¥300/月,相比自建 ELK 的 3 台 ES 节点(¥2400/月)+ 运维人力,综合成本降低 80% 以上。
后续可演进方向:接入 APM 实现日志与调用链联动、用 CTS 审计日志做安全合规分析、通过 DLI 对长期归档日志做离线数据挖掘。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)