CCE 日志进了 LTS 却查不到:先查这四个常见误配
把 CCE 集群的日志接到云日志服务 LTS,是排障的第一块基石。但「接了却查不到」是社区里问得最多的一类问题。这篇按华为云官方文档,把我自己在配置核对时会逐个过一遍的四个点写下来——大多数情况不是采集器坏了,而是某个开关、某个路径、某个命名没对上。
先说结论:日志「进没进 LTS」和「能不能查到」是两件事。标准输出被 AOM 截走、文件日志超过时效或走软链接、日志组日志流对不上号、速率超过插件上限,这四类都会造成「查不到」。下面逐个说。
一、标准输出日志被 AOM 截走了
这是最容易被忽略的一个。华为云对容器标准输出有两条采集通道:AOM 和 LTS。官方文档写得很明确——「已关闭采集容器标准输出到AOM的开关」是 CCE 接入 LTS 的前提条件之一;如果这个开关开着,标准输出只进 AOM,不进 LTS。你在 LTS 的日志流里自然一条都搜不到,而 AOM 里日志好好的。
我的核对顺序是:先到 AOM 控制台看「日志采集开关」,确认采集容器标准输出到 AOM 这一项是关闭的;再回 LTS 的接入配置看 ICAgent 采集开关是打开的(默认打开,但关闭过采集再恢复时容易漏)。两个开关的语义正好相反,漏一个就是「AOM 有、LTS 没有」。
二、文件日志采集的时效与路径限制
采容器内的文件日志(比如 /var/log/app.log)时,官方文档给了两条硬性的时间规则,我建议先对照时间戳排查:
- 新文件(首次采集):文件最后修改时间与当前时间相差超过 12 小时,不采集。
- 旧文件(非首次采集):文件最后修改时间与当前时间相差超过 2 小时,不采集。
换句话说,如果容器镜像打包时就已经带了一个 app.log(文件时间戳是构建时刻,比现在旧很多),或者应用把日志写到了很久没更新的文件里,ICAgent 会认为它「不是正在产生的新日志」而跳过。这是我见过最典型的「文件日志一直空」的原因。
路径上还有三个限制:容器文件日志采集不支持软链接文件,自定义挂载路径也禁止使用软链接;存储驱动只支持 overlay2,devicemapper 节点的文件日志采不了(核对命令:docker info | grep "Storage Driver");containerd 作为容器引擎的节点要 ICAgent 5.12.130 及以上版本。我的做法是:容器内应用尽量把日志打到自己托管的路径并写进标准输出,文件日志只作为补充通道,避免依赖镜像内静态文件。
三、日志组、日志流和授权委托对不上号
集中采集方式下,默认日志组叫 k8s-log-集群ID,默认日志流是 stdout-{ClusterID}、hostfile-{ClusterID}、event-{ClusterID}、containerfile-{ClusterID}。依赖项检查会要求「存在名为 k8s-log-集群ID 的日志组」和对应的自定义标识主机组(k8s-log-集群ID)。如果日志流不存在,fluent-bit 会上报一条关键报错:The log streamId does not exist.。我排查时的做法是先看插件里 log-agent-fluent-bit 的日志,搜 fail to push,再看 errorMessage 是不是这条——是的话直接去日志中心重建日志策略,把日志组日志流更新对。
还有一个容易漏的:LTS 主机页面看不到 CCE 集群,多半不是采集器问题,而是没有完成云服务授权。需要在 AOM2.0 里完成 aom_admin_trust 委托的创建与授权(委托给 op_svc_apm),把 LTS、CCE 等云服务的访问权限授予 AOM。我自己的集群一开始在 LTS 侧看不到节点,就是走这一步修好的。
四、速率上限与采集插件自身
云原生日志采集插件(log-agent,基于 fluent-bit 和 OpenTelemetry)在 Autopilot 文档里写明了限制:单行日志采集速率不超过 10000 条/秒,多行日志不超过 2000 条/秒;每个集群最多 100 条日志规则;不采集 .gz、.tar、.zip 后缀的文件;containerd 运行时下,容器标准输出日志的多行配置暂不生效。突发流量打满上限时,日志会丢,LTS 里表现为「中间缺一段」而不是全空。
插件自身还有一个常见故障点:log-agent-otel-collector 组件 OOM。它负责把各节点的日志集中后上报 LTS,日志量大时容易内存吃紧。核对命令是 kubectl logs -n monitoring log-agent-otel-collector-xxx 看标准输出里的错误;如果它反复 OOM,就考虑加大插件规格而不是继续加业务。
最后把四个点串成一张自查清单:标准输出查 AOM 互斥开关;文件日志查 12 小时/2 小时时效和软链接、存储驱动、ICAgent 版本;查不到先看 fluent-bit 的 fail to push 与日志流是否缺失;LTS 看不到集群先补 aom_admin_trust 委托。按这个顺序走,绝大多数「接了查不到」都能定位到具体一步。
- 点赞
- 收藏
- 关注作者
评论(0)