用华为云 LTS + AOM 搭建 CCE 全栈可观测体系

举报
yd_280727371 发表于 2026/11/10 16:08:58 2026/11/10
【摘要】 摘要:容器化之后,日志散落在成百上千个 Pod 里,kubectl logs 挨个翻是灾难级体验。本文以“电商订单服务线上 502 突增”为真实排障场景,基于华为云日志服务 LTS 与应用运维管理 AOM,打通 CCE 容器日志采集、结构化解析、TraceID 关联、指标告警与拓扑下钻全链路,把一次跨 6 个微服务的故障定位从平均 47 分钟压到 6 分钟以内。标签建议:日志服务 LTS、应...
摘要:容器化之后,日志散落在成百上千个 Pod 里,kubectl logs 挨个翻是灾难级体验。本文以“电商订单服务线上 502 突增”为真实排障场景,基于华为云日志服务 LTS 与应用运维管理 AOM,打通 CCE 容器日志采集、结构化解析、TraceID 关联、指标告警与拓扑下钻全链路,把一次跨 6 个微服务的故障定位从平均 47 分钟压到 6 分钟以内。
标签建议:日志服务 LTS、应用运维管理 AOM、云容器引擎 CCE、可观测性、云端实践

一、背景与痛点

订单链路拆成 6 个微服务跑在 CCE 上,网关 → 订单 → 库存 → 用户 → 支付 → MQ。某天下午 502 突增,值班同学的排障过程是这样的:
  1. kubectl get pods 看哪个 Pod 异常 —— 全都 Running
  2. kubectl logs -f 挨个跟 —— 一个服务 12 个副本,跟到第 5 个才看到报错
  3. 报错只有一行 NullPointerException,没有 TraceID,不知道是哪个请求带出来的
  4. 想关联上游是谁调过来的 —— 翻网关日志,网关日志在另一套 ELK 里,时间还对不齐
  5. 等定位到是库存服务某个批次发布引入的问题,已经过去 47 分钟
汇总下来五个根因:

痛点
具体表现
日志分散
Pod 重建日志就没了,kubectl logs 只能看当前容器
无结构化
纯文本日志,查关键字靠 grep,正则写到吐
无链路关联
日志和 Trace 割裂,看到异常反查不到请求
指标日志不通
CPU 飙了但不知道是哪个接口引起的
告警滞后
靠用户投诉才知道出事,没有主动阈值告警
核心诉求:日志集中留存、结构化可查、TraceID 贯穿、指标日志联动、异常主动告警。

二、方案设计

2.1 组件分工


组件
角色
关键能力
LTS​
日志中枢
采集、解析、索引、查询、转储、日志告警
AOM​
指标+拓扑+Trace
应用拓扑、JVM 指标、链路追踪、Prometheus 兼容
CCE​
运行载体
容器日志标准输出 + 节点级文件日志
OBS​
长期归档
日志转储冷存储,满足合规保留

2.2 整体架构

CCE 集群
├── 应用容器(stdout/stderr)
│     └─ logtail / ICAgent 采集
├── 中间件容器(Nginx / Redis / MQ 文件日志)
│     └─ 挂载 hostPath,ICAgent 文件采集
└─ ICAgent(DaemonSet,每节点一个)
      │
      ▼
┌─────────────────────────────────────┐
│  LTS 日志服务                        │
│  ├── 日志组:prod-order / prod-stock │
│  ├── 结构化解析(JSON / 正则)        │
│  ├── 索引字段:trace_id / user_id ...│
│  ├── 查询分析(SQL 语法)             │
│  ├── 日志告警规则                     │
│  └── 转储 → OBS 归档 90 天            │
└─────────────────────────────────────┘
      │                    ▲
      │ 日志 ↔ Trace 关联   │ 指标关联
      ▼                    │
┌─────────────────────────────────────┐
│  AOM 应用运维管理                    │
│  ├── 应用拓扑(自动发现调用关系)      │
│  ├── 指标:JVM / 容器 / 接口级         │
│  ├── Trace 详情(TraceID 下钻)        │
│  └── 告警(指标 + 事件 + 日志联动)    │
└─────────────────────────────────────┘

2.3 关键设计决策

  • 应用日志一律 stdout:容器日志交给 ICAgent 采集,不落容器内文件(Pod 重建即丢)
  • 强制 JSON 日志格式:所有服务统一输出 JSON,LTS 直接解析成字段,不写正则
  • TraceID 强制注入:MDC 里放 trace_id,每条日志都带,LTS 和 AOM 双向跳转
  • 日志分级分组:按环境+服务建日志组,避免一个大 topic 查不动
  • 热数据 7 天在 LTS,冷数据转 OBS:查询性能和存储成本平衡

三、实操步骤

3.1 应用侧:统一 JSON 日志 + TraceID 注入

Logback 配置(Spring Boot 服务):
<configuration>
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="net.logstash.logback.encoder.LogstashEncoder">
            <fieldNames>
                <timestamp>ts</timestamp>
                <level>level</level>
                <thread>thread</thread>
                <logger>logger</logger>
                <message>msg</message>
            </fieldNames>
            <!-- 把 MDC 里的 trace_id / span_id 提升为顶层字段 -->
            <includeMdcKeyName>trace_id</includeMdcKeyName>
            <includeMdcKeyName>span_id</includeMdcKeyName>
            <includeMdcKeyName>user_id</includeMdcKeyName>
            <includeMdcKeyName>order_no</includeMdcKeyName>
        </encoder>
    </appender>
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
    </root>
</configuration>
拦截器注入 TraceID:
@Component
public class TraceFilter extends OncePerRequestFilter {
    @Override
    protected void doFilterInternal(HttpServletRequest req,
                                    HttpServletResponse resp,
                                    FilterChain chain)
            throws ServletException, IOException {
        String traceId = req.getHeader("X-Trace-Id");
        if (traceId == null || traceId.isEmpty()) {
            traceId = UUID.randomUUID().toString().replace("-", "");
        }
        MDC.put("trace_id", traceId);
        resp.setHeader("X-Trace-Id", traceId);
        try {
            chain.doFilter(req, resp);
        } finally {
            MDC.clear();
        }
    }
}
输出样例:
{"ts":"2026-11-10T14:23:11.382+08:00","level":"ERROR",
 "trace_id":"a1b2c3d4e5f6","span_id":"0012","user_id":"88231",
 "order_no":"SO20261110001","logger":"c.e.order.StockClient",
 "msg":"deduct stock failed","stack":"java.lang.NullPointerException..."}
关键点:trace_id、order_no 必须是顶层字段,LTS 才能建索引,后面才能 trace_id:xxx 一键查全链路。

3.2 CCE 侧:安装 ICAgent 并配置采集

① 安装 ICAgent(CCE 集群一键装):
控制台 → 集群 → 插件管理 → 安装 ICAgent(日志与指标采集插件),勾选:
  • 容器标准输出采集:开启
  • 容器文件日志采集:按需
  • 节点系统日志:开启(/var/log/messages 等)
安装后校验:
kubectl get ds -n kube-system icagent
# NAME      DESIRED   CURRENT   READY
# icagent   6         6         6
② 创建日志组和日志流(LTS 控制台或 terraform):
日志组:prod-order
  ├─ 日志流:order-svc(JSON 解析)
  ├─ 日志流:stock-svc(JSON 解析)
  └─ 日志流:gateway-access(Nginx 正则解析)

日志组:prod-infra
  ├─ 日志流:cce-audit
  └─ 日志流:node-syslog
③ 采集配置(CCE 容器 stdout 走默认规则,Nginx 文件日志需自定义):
# nginx-access 采集规则
logGroup: prod-order
logStream: gateway-access
paths:
  - /var/log/nginx/access.log      # hostPath 挂载出来的
parserType: regex
regex: '(?P<remote>[^ ]*) - - \[(?P<time>[^\]]*)\] "(?P<method>\w+) (?P<uri>[^ ]*)" (?P<status>\d{3}) (?P<size>\d+)'
indexKeys:
  - status
  - uri
  - remote
  - method

3.3 LTS 侧:索引与查询

索引配置(日志流 order-svc):

字段
类型
是否索引
用途
trace_id
text
✅
全链路关联
level
text
✅
按级别过滤
user_id
text
✅
用户维度排查
order_no
text
✅
单订单追溯
msg
text
✅(分词)
关键字搜索
ts
date
✅
时间范围
stack
text
❌
太大不索引,命中后按需看原文
常用查询语句(LTS 支持类 SQL):
-- 1. 按 TraceID 查全链路(跨服务)
trace_id:"a1b2c3d4e5f6"
| SELECT ts, level, __service_name__, msg
| ORDER BY ts ASC

-- 2. 最近 15 分钟 ERROR 按服务聚合
level:"ERROR" AND __tag_service_name__:*
| SELECT __tag_service_name__ AS svc, COUNT(*) AS cnt
| GROUP BY svc ORDER BY cnt DESC

-- 3. 某接口 P99 耗时(配合 AOM 指标日志)
msg:"order.create" AND level:"INFO"
| SELECT approx_percentile(cost_ms, 0.99) AS p99

3.4 AOM 侧:拓扑、Trace 与告警

① 接入 APM Trace(Java Agent 已在前面微服务篇讲过,此处只补关联点):
在 CCE 组件环境变量加:
JAVA_OPTS=-javaagent:/opt/asm/asm-agent.jar \
          -Dservice.name=order-service \
          -Dlts.trace.field=trace_id   # 告诉 Agent 把 TraceID 写进 MDC
这样 AOM 的 TraceID 和 LTS 日志里的 trace_id 就是同一个值,双向跳转才有意义。
② 应用拓扑自动发现:
AOM 控制台 → 应用管理 → 拓扑,无需配置,Agent 上报调用关系后自动生成:
gateway → order-service → stock-service
                        → user-service
                        → payment-service
                        → dms-rocketmq
节点颜色按错误率/延迟染色,一眼看到哪个环节红了。
③ 告警规则(三条必备):

告警名
条件
动作
接口错误率突增
5 分钟 ERROR 率 > 1% 且环比 +200%
钉钉 + 短信
P99 延迟超标
order.create P99 > 1500ms 持续 3 分钟
钉钉
日志关键字告警
LTS 中 msg:"OutOfMemoryError" 出现 ≥1 次
电话
LTS 日志告警配置(SQL 触发式):
-- 每 1 分钟执行一次,ERROR 数 > 50 触发
level:"ERROR"
| SELECT COUNT(*) AS c
| WHERE c > 50

3.5 日志生命周期与成本控制

  • 热数据:LTS 索引保留 7 天(可查可告警)
  • 温数据:7-30 天转储到 OBS 低频存储
  • 冷归档:30-90 天 OBS 归档存储,合规审计用
  • 转储规则(LTS 控制台):
{
  "logGroup": "prod-order",
  "transition": [
    {"days": 7,  "target": "OBS", "storageClass": "STANDARD_IA"},
    {"days": 30, "target": "OBS", "storageClass": "ARCHIVE"}
  ],
  "retention": 90
}
经验:索引是最贵的部分,只索引真正会查的字段。stack 全文不索引,命中日志后看原文即可,能省 40%+ LTS 费用。

四、验证结果:一次真实排障复盘

故障现象:下午 14:23 网关 502 突增,错误率 3 分钟内从 0.1% 冲到 8%。
新体系下的排障路径:

步骤
操作
耗时
1
AOM 拓扑看到 stock-service 节点标红,错误率 42%
20 秒
2
点节点下钻 → 接口级指标:deduct P99 从 80ms 飙到 3000ms
30 秒
3
切到 Trace 列表,取一条慢调用 TraceID a1b2c3d4e5f6
20 秒
4
Trace 详情看到卡在 StockRepository.save 一步
40 秒
5
点“查看日志”跳 LTS,同一 TraceID 捞出完整堆栈:NullPointerException at RowLock
60 秒
6
关联发布记录,锁定 14:10 上线的 v2.3.1 批次
60 秒
7
回滚 Deployment,错误率 90 秒内归零
2 分钟
总计 6 分钟,对比老方案 47 分钟,提速约 87%。
能力对比:

维度
改造前(kubectl + ELK)
改造后(LTS + AOM)
日志留存
Pod 重建即丢
索引 7 天 + 归档 90 天
跨服务关联
手工对时间
TraceID 一键串联
指标↔日志
割裂
拓扑点节点直接跳日志
告警
用户投诉
错误率/P99/关键字三重主动告警
排障耗时
47 分钟
6 分钟

五、生产避坑清单

❌ 常见错误
  1. 日志打容器内文件:Pod 一重建全没,必须 stdout
  2. 日志不结构化:纯文本靠正则解析,字段一变正则全废
  3. TraceID 不放 MDC:日志里有但不在顶层字段,LTS 建不了索引,等于白打
  4. 索引所有字段:stack、完整 JSON body 都索引,LTS 账单爆炸
  5. 日志组和日志流按服务拆太细:50 个微服务建 50 个组,跨服务查询要来回切
  6. ICAgent 不设资源限制:日志洪峰时 ICAgent 吃满节点 CPU,反过来拖垮业务
  7. 告警只看平均值:平均延迟正常但 P99 炸了,用户照样投诉,必须看 P99/P999
  8. 热数据保留设 30 天:索引费用直接翻 4 倍,7 天够排障,剩下走 OBS
  9. 不打 user_id / order_no:业务排障("这个用户为什么报错")完全没法查
  10. 日志里打敏感信息:手机号、身份证、密码明文进 LTS,合规审计过不了
✅ 正确姿势
  • 应用统一 LogstashEncoder 输出 JSON,TraceID/业务 ID 顶层化
  • 索引白名单:只索引 trace_id/level/user_id/order_no/msg/ts/__service_name__
  • ICAgent DaemonSet 设 resources.limits: cpu 1 / mem 1Gi
  • 告警规则用 P99 + 错误率 + 环比,不用平均值
  • 热 7 天 / 温转 OBS IA / 冷转 OBS Archive
  • 日志脱敏:Logback 加 MaskingPatternLayout 或在 MDC 出口脱敏
  • 每个服务打 __service_name__ 标签,跨服务查询 OR 一下就行
  • 大促前把日志量压测一遍,ICAgent 吞吐和 LTS 写入配额提前扩容

六、成本结构梳理


计费项
说明
优化建议
LTS 索引存储
按索引字段+条数
白名单索引,砍掉 stack/body
LTS 流量
写入+查询流量
内网写入免费,查询按需
LTS 转储
转 OBS 按次
7 天后自动转,别一直堆热数据
OBS 存储
温/冷存储
IA 比标准便宜约 40%,Archive 再便宜一半
AOM 指标
按指标条数
自定义指标只留核心,别把每个 JVM 参数都上报
AOM Trace
按 Span 数
采样率生产设 10%-20%,异常请求强制采样
实测一个日均 2TB 日志的中型电商:优化索引字段 + 7 天热数据策略后,LTS 月度账单下降约 45%。

七、总结与扩展

可观测性不是“把日志收上来”就完了,三件事必须打通:
  • 日志结构化:JSON + TraceID 顶层字段,是后面一切查询和关联的地基
  • 指标-日志-Trace 三角联动:AOM 拓扑看到红点 → Trace 定位到 Span → LTS 捞堆栈,一条线走完
  • 告警主动化:等用户投诉就已经晚了,错误率/P99/关键字三类告警是底线
后续演进方向:
  1. 日志智能聚类:LTS 接入异常日志聚类,同类堆栈自动归并,减少重复告警
  2. AIOps 根因推荐:AOM 关联发布记录 + 指标突变 + 日志异常,直接推“可能是 XX 服务 v2.3.1”
  3. 混沌工程联动:故障注入时自动打标 TraceID,演练报告和真实故障共用一套查询
  4. 多集群日志汇总:多地 CCE 集群日志统一进一个 LTS 实例,用 __region__ 标签区分
  5. 合规审计增强:操作日志单独日志组,转 OBS 归档桶开对象锁,满足等保要求
  6. 前端可观测:接前端 SDK 把浏览器异常也带 TraceID 回传,前后端链路打通

本文为原创可观测性实践,基于华为云 LTS、AOM、CCE 整理,操作步骤以当前控制台页面为准。排障耗时与成本数据为特定环境实测,实际表现随日志量、采样率与集群规模浮动。转载请注明出处。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。