用华为云 LTS + AOM 搭建 CCE 全栈可观测体系
【摘要】 摘要:容器化之后,日志散落在成百上千个 Pod 里,kubectl logs 挨个翻是灾难级体验。本文以“电商订单服务线上 502 突增”为真实排障场景,基于华为云日志服务 LTS 与应用运维管理 AOM,打通 CCE 容器日志采集、结构化解析、TraceID 关联、指标告警与拓扑下钻全链路,把一次跨 6 个微服务的故障定位从平均 47 分钟压到 6 分钟以内。标签建议:日志服务 LTS、应...
摘要:容器化之后,日志散落在成百上千个 Pod 里,
kubectl logs 挨个翻是灾难级体验。本文以“电商订单服务线上 502 突增”为真实排障场景,基于华为云日志服务 LTS 与应用运维管理 AOM,打通 CCE 容器日志采集、结构化解析、TraceID 关联、指标告警与拓扑下钻全链路,把一次跨 6 个微服务的故障定位从平均 47 分钟压到 6 分钟以内。标签建议:日志服务 LTS、应用运维管理 AOM、云容器引擎 CCE、可观测性、云端实践
一、背景与痛点
订单链路拆成 6 个微服务跑在 CCE 上,网关 → 订单 → 库存 → 用户 → 支付 → MQ。某天下午 502 突增,值班同学的排障过程是这样的:
kubectl get pods看哪个 Pod 异常 —— 全都 Runningkubectl logs -f挨个跟 —— 一个服务 12 个副本,跟到第 5 个才看到报错- 报错只有一行
NullPointerException,没有 TraceID,不知道是哪个请求带出来的 - 想关联上游是谁调过来的 —— 翻网关日志,网关日志在另一套 ELK 里,时间还对不齐
- 等定位到是库存服务某个批次发布引入的问题,已经过去 47 分钟
汇总下来五个根因:
|
痛点
|
具体表现
|
|---|---|
|
日志分散
|
Pod 重建日志就没了,
kubectl logs 只能看当前容器 |
|
无结构化
|
纯文本日志,查关键字靠 grep,正则写到吐
|
|
无链路关联
|
日志和 Trace 割裂,看到异常反查不到请求
|
|
指标日志不通
|
CPU 飙了但不知道是哪个接口引起的
|
|
告警滞后
|
靠用户投诉才知道出事,没有主动阈值告警
|
核心诉求:日志集中留存、结构化可查、TraceID 贯穿、指标日志联动、异常主动告警。
二、方案设计
2.1 组件分工
|
组件
|
角色
|
关键能力
|
|---|---|---|
|
LTS
|
日志中枢
|
采集、解析、索引、查询、转储、日志告警
|
|
AOM
|
指标+拓扑+Trace
|
应用拓扑、JVM 指标、链路追踪、Prometheus 兼容
|
|
CCE
|
运行载体
|
容器日志标准输出 + 节点级文件日志
|
|
OBS
|
长期归档
|
日志转储冷存储,满足合规保留
|
2.2 整体架构
CCE 集群
├── 应用容器(stdout/stderr)
│ └─ logtail / ICAgent 采集
├── 中间件容器(Nginx / Redis / MQ 文件日志)
│ └─ 挂载 hostPath,ICAgent 文件采集
└─ ICAgent(DaemonSet,每节点一个)
│
▼
┌─────────────────────────────────────┐
│ LTS 日志服务 │
│ ├── 日志组:prod-order / prod-stock │
│ ├── 结构化解析(JSON / 正则) │
│ ├── 索引字段:trace_id / user_id ...│
│ ├── 查询分析(SQL 语法) │
│ ├── 日志告警规则 │
│ └── 转储 → OBS 归档 90 天 │
└─────────────────────────────────────┘
│ ▲
│ 日志 ↔ Trace 关联 │ 指标关联
▼ │
┌─────────────────────────────────────┐
│ AOM 应用运维管理 │
│ ├── 应用拓扑(自动发现调用关系) │
│ ├── 指标:JVM / 容器 / 接口级 │
│ ├── Trace 详情(TraceID 下钻) │
│ └── 告警(指标 + 事件 + 日志联动) │
└─────────────────────────────────────┘
2.3 关键设计决策
- 应用日志一律 stdout:容器日志交给 ICAgent 采集,不落容器内文件(Pod 重建即丢)
- 强制 JSON 日志格式:所有服务统一输出 JSON,LTS 直接解析成字段,不写正则
- TraceID 强制注入:MDC 里放 trace_id,每条日志都带,LTS 和 AOM 双向跳转
- 日志分级分组:按环境+服务建日志组,避免一个大 topic 查不动
- 热数据 7 天在 LTS,冷数据转 OBS:查询性能和存储成本平衡
三、实操步骤
3.1 应用侧:统一 JSON 日志 + TraceID 注入
Logback 配置(Spring Boot 服务):
<configuration>
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="net.logstash.logback.encoder.LogstashEncoder">
<fieldNames>
<timestamp>ts</timestamp>
<level>level</level>
<thread>thread</thread>
<logger>logger</logger>
<message>msg</message>
</fieldNames>
<!-- 把 MDC 里的 trace_id / span_id 提升为顶层字段 -->
<includeMdcKeyName>trace_id</includeMdcKeyName>
<includeMdcKeyName>span_id</includeMdcKeyName>
<includeMdcKeyName>user_id</includeMdcKeyName>
<includeMdcKeyName>order_no</includeMdcKeyName>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="STDOUT"/>
</root>
</configuration>
拦截器注入 TraceID:
@Component
public class TraceFilter extends OncePerRequestFilter {
@Override
protected void doFilterInternal(HttpServletRequest req,
HttpServletResponse resp,
FilterChain chain)
throws ServletException, IOException {
String traceId = req.getHeader("X-Trace-Id");
if (traceId == null || traceId.isEmpty()) {
traceId = UUID.randomUUID().toString().replace("-", "");
}
MDC.put("trace_id", traceId);
resp.setHeader("X-Trace-Id", traceId);
try {
chain.doFilter(req, resp);
} finally {
MDC.clear();
}
}
}
输出样例:
{"ts":"2026-11-10T14:23:11.382+08:00","level":"ERROR",
"trace_id":"a1b2c3d4e5f6","span_id":"0012","user_id":"88231",
"order_no":"SO20261110001","logger":"c.e.order.StockClient",
"msg":"deduct stock failed","stack":"java.lang.NullPointerException..."}
关键点:trace_id、order_no必须是顶层字段,LTS 才能建索引,后面才能trace_id:xxx一键查全链路。
3.2 CCE 侧:安装 ICAgent 并配置采集
① 安装 ICAgent(CCE 集群一键装):
控制台 → 集群 → 插件管理 → 安装 ICAgent(日志与指标采集插件),勾选:
- 容器标准输出采集:开启
- 容器文件日志采集:按需
- 节点系统日志:开启(
/var/log/messages等)
安装后校验:
kubectl get ds -n kube-system icagent
# NAME DESIRED CURRENT READY
# icagent 6 6 6
② 创建日志组和日志流(LTS 控制台或 terraform):
日志组:prod-order
├─ 日志流:order-svc(JSON 解析)
├─ 日志流:stock-svc(JSON 解析)
└─ 日志流:gateway-access(Nginx 正则解析)
日志组:prod-infra
├─ 日志流:cce-audit
└─ 日志流:node-syslog
③ 采集配置(CCE 容器 stdout 走默认规则,Nginx 文件日志需自定义):
# nginx-access 采集规则
logGroup: prod-order
logStream: gateway-access
paths:
- /var/log/nginx/access.log # hostPath 挂载出来的
parserType: regex
regex: '(?P<remote>[^ ]*) - - \[(?P<time>[^\]]*)\] "(?P<method>\w+) (?P<uri>[^ ]*)" (?P<status>\d{3}) (?P<size>\d+)'
indexKeys:
- status
- uri
- remote
- method
3.3 LTS 侧:索引与查询
索引配置(日志流
order-svc):|
字段
|
类型
|
是否索引
|
用途
|
|---|---|---|---|
|
trace_id
|
text
|
✅
|
全链路关联
|
|
level
|
text
|
✅
|
按级别过滤
|
|
user_id
|
text
|
✅
|
用户维度排查
|
|
order_no
|
text
|
✅
|
单订单追溯
|
|
msg
|
text
|
✅(分词)
|
关键字搜索
|
|
ts
|
date
|
✅
|
时间范围
|
|
stack
|
text
|
❌
|
太大不索引,命中后按需看原文
|
常用查询语句(LTS 支持类 SQL):
-- 1. 按 TraceID 查全链路(跨服务)
trace_id:"a1b2c3d4e5f6"
| SELECT ts, level, __service_name__, msg
| ORDER BY ts ASC
-- 2. 最近 15 分钟 ERROR 按服务聚合
level:"ERROR" AND __tag_service_name__:*
| SELECT __tag_service_name__ AS svc, COUNT(*) AS cnt
| GROUP BY svc ORDER BY cnt DESC
-- 3. 某接口 P99 耗时(配合 AOM 指标日志)
msg:"order.create" AND level:"INFO"
| SELECT approx_percentile(cost_ms, 0.99) AS p99
3.4 AOM 侧:拓扑、Trace 与告警
① 接入 APM Trace(Java Agent 已在前面微服务篇讲过,此处只补关联点):
在 CCE 组件环境变量加:
JAVA_OPTS=-javaagent:/opt/asm/asm-agent.jar \
-Dservice.name=order-service \
-Dlts.trace.field=trace_id # 告诉 Agent 把 TraceID 写进 MDC
这样 AOM 的 TraceID 和 LTS 日志里的
trace_id 就是同一个值,双向跳转才有意义。② 应用拓扑自动发现:
AOM 控制台 → 应用管理 → 拓扑,无需配置,Agent 上报调用关系后自动生成:
gateway → order-service → stock-service
→ user-service
→ payment-service
→ dms-rocketmq
节点颜色按错误率/延迟染色,一眼看到哪个环节红了。
③ 告警规则(三条必备):
|
告警名
|
条件
|
动作
|
|---|---|---|
|
接口错误率突增
|
5 分钟 ERROR 率 > 1% 且环比 +200%
|
钉钉 + 短信
|
|
P99 延迟超标
|
order.create P99 > 1500ms 持续 3 分钟
|
钉钉
|
|
日志关键字告警
|
LTS 中
msg:"OutOfMemoryError" 出现 ≥1 次 |
电话
|
LTS 日志告警配置(SQL 触发式):
-- 每 1 分钟执行一次,ERROR 数 > 50 触发
level:"ERROR"
| SELECT COUNT(*) AS c
| WHERE c > 50
3.5 日志生命周期与成本控制
- 热数据:LTS 索引保留 7 天(可查可告警)
- 温数据:7-30 天转储到 OBS 低频存储
- 冷归档:30-90 天 OBS 归档存储,合规审计用
- 转储规则(LTS 控制台):
{
"logGroup": "prod-order",
"transition": [
{"days": 7, "target": "OBS", "storageClass": "STANDARD_IA"},
{"days": 30, "target": "OBS", "storageClass": "ARCHIVE"}
],
"retention": 90
}
经验:索引是最贵的部分,只索引真正会查的字段。stack全文不索引,命中日志后看原文即可,能省 40%+ LTS 费用。
四、验证结果:一次真实排障复盘
故障现象:下午 14:23 网关 502 突增,错误率 3 分钟内从 0.1% 冲到 8%。
新体系下的排障路径:
|
步骤
|
操作
|
耗时
|
|---|---|---|
|
1
|
AOM 拓扑看到
stock-service 节点标红,错误率 42% |
20 秒
|
|
2
|
点节点下钻 → 接口级指标:
deduct P99 从 80ms 飙到 3000ms |
30 秒
|
|
3
|
切到 Trace 列表,取一条慢调用 TraceID
a1b2c3d4e5f6 |
20 秒
|
|
4
|
Trace 详情看到卡在
StockRepository.save 一步 |
40 秒
|
|
5
|
点“查看日志”跳 LTS,同一 TraceID 捞出完整堆栈:
NullPointerException at RowLock |
60 秒
|
|
6
|
关联发布记录,锁定 14:10 上线的 v2.3.1 批次
|
60 秒
|
|
7
|
回滚 Deployment,错误率 90 秒内归零
|
2 分钟
|
总计 6 分钟,对比老方案 47 分钟,提速约 87%。
能力对比:
|
维度
|
改造前(kubectl + ELK)
|
改造后(LTS + AOM)
|
|---|---|---|
|
日志留存
|
Pod 重建即丢
|
索引 7 天 + 归档 90 天
|
|
跨服务关联
|
手工对时间
|
TraceID 一键串联
|
|
指标↔日志
|
割裂
|
拓扑点节点直接跳日志
|
|
告警
|
用户投诉
|
错误率/P99/关键字三重主动告警
|
|
排障耗时
|
47 分钟
|
6 分钟
|
五、生产避坑清单
❌ 常见错误
- 日志打容器内文件:Pod 一重建全没,必须 stdout
- 日志不结构化:纯文本靠正则解析,字段一变正则全废
- TraceID 不放 MDC:日志里有但不在顶层字段,LTS 建不了索引,等于白打
- 索引所有字段:
stack、完整 JSON body 都索引,LTS 账单爆炸 - 日志组和日志流按服务拆太细:50 个微服务建 50 个组,跨服务查询要来回切
- ICAgent 不设资源限制:日志洪峰时 ICAgent 吃满节点 CPU,反过来拖垮业务
- 告警只看平均值:平均延迟正常但 P99 炸了,用户照样投诉,必须看 P99/P999
- 热数据保留设 30 天:索引费用直接翻 4 倍,7 天够排障,剩下走 OBS
- 不打 user_id / order_no:业务排障("这个用户为什么报错")完全没法查
- 日志里打敏感信息:手机号、身份证、密码明文进 LTS,合规审计过不了
✅ 正确姿势
- 应用统一 LogstashEncoder 输出 JSON,TraceID/业务 ID 顶层化
- 索引白名单:只索引
trace_id/level/user_id/order_no/msg/ts/__service_name__ - ICAgent DaemonSet 设
resources.limits: cpu 1 / mem 1Gi - 告警规则用 P99 + 错误率 + 环比,不用平均值
- 热 7 天 / 温转 OBS IA / 冷转 OBS Archive
- 日志脱敏:Logback 加
MaskingPatternLayout或在 MDC 出口脱敏 - 每个服务打
__service_name__标签,跨服务查询OR一下就行 - 大促前把日志量压测一遍,ICAgent 吞吐和 LTS 写入配额提前扩容
六、成本结构梳理
|
计费项
|
说明
|
优化建议
|
|---|---|---|
|
LTS 索引存储
|
按索引字段+条数
|
白名单索引,砍掉 stack/body
|
|
LTS 流量
|
写入+查询流量
|
内网写入免费,查询按需
|
|
LTS 转储
|
转 OBS 按次
|
7 天后自动转,别一直堆热数据
|
|
OBS 存储
|
温/冷存储
|
IA 比标准便宜约 40%,Archive 再便宜一半
|
|
AOM 指标
|
按指标条数
|
自定义指标只留核心,别把每个 JVM 参数都上报
|
|
AOM Trace
|
按 Span 数
|
采样率生产设 10%-20%,异常请求强制采样
|
实测一个日均 2TB 日志的中型电商:优化索引字段 + 7 天热数据策略后,LTS 月度账单下降约 45%。
七、总结与扩展
可观测性不是“把日志收上来”就完了,三件事必须打通:
- 日志结构化:JSON + TraceID 顶层字段,是后面一切查询和关联的地基
- 指标-日志-Trace 三角联动:AOM 拓扑看到红点 → Trace 定位到 Span → LTS 捞堆栈,一条线走完
- 告警主动化:等用户投诉就已经晚了,错误率/P99/关键字三类告警是底线
后续演进方向:
- 日志智能聚类:LTS 接入异常日志聚类,同类堆栈自动归并,减少重复告警
- AIOps 根因推荐:AOM 关联发布记录 + 指标突变 + 日志异常,直接推“可能是 XX 服务 v2.3.1”
- 混沌工程联动:故障注入时自动打标 TraceID,演练报告和真实故障共用一套查询
- 多集群日志汇总:多地 CCE 集群日志统一进一个 LTS 实例,用
__region__标签区分 - 合规审计增强:操作日志单独日志组,转 OBS 归档桶开对象锁,满足等保要求
- 前端可观测:接前端 SDK 把浏览器异常也带 TraceID 回传,前后端链路打通
本文为原创可观测性实践,基于华为云 LTS、AOM、CCE 整理,操作步骤以当前控制台页面为准。排障耗时与成本数据为特定环境实测,实际表现随日志量、采样率与集群规模浮动。转载请注明出处。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)