华为云 LTS 日志采集不到、ICAgent 离线、日志延迟或丢失?分层排查指南

举报
yd_294423728 发表于 2026/11/18 10:58:51 2026/11/18
【摘要】 LTS 采不到日志、ICAgent 离线或日志晚到,先按现象定层:查 ICAgent 采集开关和超额采集开关(与 AOM 同步)、欠费;离线看 30200/30201 连接和认证返回码;采集规则核对目录只认三种后缀、不支持软链接、久未更新的文件不采;CCE 先关标准输出到 AOM;延迟对照 10 秒、2 分钟基准查积压、限流和轮转;搜不到查索引。附速查表。

「主机列表里 ICAgent 一直显示离线」「接入配置建好半天,日志流里一条都没有」「日志能看到,但总比业务晚几分钟」「轮转之后少了一段」,是云日志服务 LTS 最常见的几类求助。常见的情况是一上来就重装 ICAgent,最后发现是采集开关被关了、路径写成了软链接,或者文件太久没更新被跳过。本文对照 support.huaweicloud.com 上 LTS 的官方文档,把问题拆成控制台开关与配额、ICAgent 状态、网络与认证、采集规则、容器场景、延迟与丢失、查询与索引七层,最后给出排查顺序、速查表和常见坑。菜单名、版本号和数值以官方当前页面为准。

下文以 ECS 主机文本日志为主线,CCE 容器场景单独成节。

一、先定层:看现象落在哪一段

日志链路大致是:应用写盘 → ICAgent 读取 → 上报 LTS → 建索引 → 控制台展示。断在哪一段,现象不同:

层 典型现象 一句话判断
控制台开关与配额 之前正常,某天起所有主机一起没日志 账号级开关或欠费
ICAgent 状态 主机列表显示离线、未安装、鉴权错误,或主机根本不出现 采集器本身没跑起来
网络与认证 离线,netstat 看不到 ESTABLISHED 到管理面的端口不通或 AK/SK 不对
采集规则 ICAgent 运行,但某个路径一直没日志 路径、文件类型、时间窗口不匹配
容器场景 节点日志有,容器标准输出没有 AOM 开关、存储卷类型、版本
延迟与丢失 日志晚到、偶发缺段或重复 积压、轮转、限流
查询与索引 实时日志有数据,搜索却查不到 索引或搜索语法

最实用的分界点是日志流的「实时日志」:官方 FAQ 建议打开该页面后不点任何按钮,触发一条新日志,看是否自动刷出数据。刷得出来,问题在查询与索引层;刷不出来,往前查采集链路。

另外,官方写明接入后需要等待 1~5 分钟才开始上报,配置更新生效约 1~3 分钟,刚保存就判断「采不到」常是误判。

二、控制台开关与配额层:先排除「全局被关」

这一层影响面大、和单台主机无关,放在最前面:

  • ICAgent 采集开关:在「配置中心 > ICAgent采集开关」。默认打开,关闭后 ICAgent 会停止采集日志,并且 AOM 控制台的「日志采集开关」也会同步关闭。
  • 超额继续采集日志:在「配置中心 > 配额设置」。每月有 500M 免费额度,该开关默认开启;如果被关闭,超过免费额度后会暂停采集,无法再进行日志读写和索引,已存的日志继续按存储计费。
  • AOM 侧同步:两个服务的「超额继续采集日志」开关是同步状态,在 AOM 关闭也会让 LTS 停止收集。很多人只盯着 LTS 控制台,没想到改动发生在 AOM。
  • 欠费:官方「无法查看上报到LTS的日志」把「当前账号欠费,故采集器停止采集」列为原因之一。
  • 接入任务状态:在「接入 > 接入管理」里确认对应的接入配置状态显示「开启」。

如果要在主机上确认开关是否真的下发到了 ICAgent,官方给的方法是:

cd /var/ICAgent
cat oss.icAgent.trace | grep switchList
cat /var/share/oss/manager/ICProbeAgent/internal/TRACE_CONFIG/swithes_context.json

看最新一条配置里 switch.log 是否为 true。注意文件名里的 swithes_context.json 就是官方原文的拼写,不要自己「改正」。

三、ICAgent 状态层:离线、不显示、反复重启

1. 先读懂状态

在「主机管理 > 主机」查看 ICAgent 状态,几个容易混淆的值:

状态 官方含义
运行 ICAgent 运行正常
离线 AK/SK 错误;或网络异常、主机关机等导致超过 10 分钟没有上报心跳
未安装 网络异常或主机关机等导致超过一周没有上报心跳(并不一定是真没装)
鉴权错误 安装时配置的参数问题导致无法正常鉴权
异常 ICAgent 功能异常,需联系技术支持

也就是说,一台关机超过一周的机器,开机后在列表里可能显示「未安装」。先确认主机已开机、网络正常,再观察状态;仍不恢复时重新执行安装命令即可。「覆盖安装、不用先卸载」出自主机场景管理文档的升级失败那一段;刚在界面卸载过的,先等 5 分钟再装。Windows 升级仍要先卸载。

2. 显示离线

官方 FAQ 的步骤分两步:

netstat -nap | grep icagent
cd /var/ICAgent
zgrep 'msworkflow' * | grep 'retCode\['
  • 服务端 30200、30201 端口的连接是 ESTABLISHED 说明网络正常,否则查安全组(见下一节)。
  • 认证返回码 200 表示认证成功,仍离线建议提工单;不是 200 则检查 AK/SK,用正确的 AK/SK 重新安装。

3. 安装完主机列表里不出现

ECS 接入场景官方列了三条:安装命令要从当前 Region 的安装页面复制,不能使用跨 Region 的安装命令;AK/SK 正确且没有被删除;netstat 连接正常。安装文档还特别提醒,AK/SK 被删除或禁用会导致已安装的 ICAgent 无法正常上报,所以建议使用文档里说的「公共用户账号」创建、不会被随手删除或禁用的 AK/SK。

两个安装相关的小坑:

  • 安装前要确保本地浏览器的时间、时区与主机一致,不一致可能导致日志上报出错。
  • 主机安装场景不支持用「已安装 ICAgent 的主机镜像」直接装新机器,否则 ICAgent 功能异常;要批量复制,请用安装页面专门的「镜像安装」方式。用「创建IAM委托」方式安装时,授权后需等待 15~30 分钟才生效。

4. 反复重启

官方 FAQ 给的原因是资源占用超过 ICAgent 自身限制,或 ICAgent 本身异常:

cd /var/ICAgent
cat oss.icAgent.trace | grep 'icagent exit'
cat oss.script.trace | grep runtime

ICAgent 限制文档写明:内存消耗不超过「4G 与节点物理内存一半」中的较小值,超过时启动重启保护;资源超限的处理策略是强制重启,期间若发生日志轮转,可能丢失或重复。采集路径下堆着大量日志文件时 CPU 也容易偏高,官方建议定时清理。

四、网络与认证层:端口和区域

ICAgent 限制文档列出的访问端口:

端口 用途
30200 ICAgent 注册
30201 ICAgent 状态配置
8102 日志上报
8149 上报监控指标
8923 上报数据到 APM

几点说明:

  • 离线 FAQ 只点名了 30200、30201,但日志真正上报走 8102。官方未直接写这种组合现象,按端口用途推断:如果只放通了控制端口、日志上报端口不通,可能出现状态正常、日志却上不来的情况,可以用官方的发送失败检查命令确认:cat oss.icAgent.trace | grep httpsend | grep 'dataType:TRACE' | grep failed。
  • 方向问题:两页官方文档对安全组方向的写法不一致,适用场景也不同。Syslog 最佳实践(lts_07_0019)写的是主机安全组出方向放通 TCP 30200、30201、8149、8923、8102;「云主机ECS文本日志接入LTS」(lts_04_1031)前提条件写的是开放入方向,还多一个 80,这跟区域外跳板机文档(lts_02_0828、lts_07_0018)一致,那里是跳板机才需要开入方向。ICAgent 是客户端,同区域主机一般核对出方向就行,不要因为接入页那一句就放宽普通 ECS 的入方向。「默认出方向全放行」是 ECS 安全组常见的默认设置,不是 LTS 原文;如果出方向曾被收紧,再按上面的端口核对出方向即可。
  • 区域外主机(其他云、IDC、华为云其他 Region)安装时要选网络连通方式:公网或专线,官方建议优先专线。专线场景下 ICAgent 默认无法直接访问当前 Region 上报日志的网段,需要用跳板机或 VPCEP(VPC 终端节点)打通,测试或小流量可用跳板机,大流量推荐 VPCEP;跨 Region 采集时,跳板机要买在目标 LTS 所在的 Region。

五、采集规则层:ICAgent 在跑,但这个文件就是不采

这一层最容易「看起来一切正常」,逐条对照:

  1. 目录 vs 文件:路径配的是目录(如 /var/logs/)时,只采集后缀为 .log、.trace、.out 的文件;配的是文件名才会直接采集,且只支持文本文件。日志叫 app.txt 或不带后缀时,配目录永远采不到。
  2. 软链接:ICAgent 限制文档写明不支持软链接。/var/log/app 指向数据盘的情况,要直接写真实路径。
  3. 通配写法:** 表示递归 5 层,路径里只能出现一次,第一层不允许是 **(如 /**/test 是错的);单个配置最多 30 个路径。保存前可以用控制台的「使用路径验证」。
  4. 重复配置:关闭「允许文件多次采集」时,同一主机的同一路径即使跨日志组和日志流也只能配置一次;同一路径已在 AOM 配过的,也不能在 LTS 重复配置。
  5. 黑名单优先:黑名单与采集路径重合时,优先过滤黑名单;已经加了黑名单的文件,新建接入也采不到,要先删掉黑名单里的路径。
  6. 文件太久没更新会被跳过:ECS 文本日志接入文档写明,新文件(首次采集)最后修改时间与当前时间相差超过 6 小时不采集;旧文件(非首次采集)相差超过 3 分钟不采集。拿一个昨天的旧文件来「测试采集」,大概率什么都没有。
  7. 日志时间窗口:前后 24 小时是《日志读写限制》(lts-0718)和接入页(lts_04_1031)的说法:日志时间超出当前时间前后 24 小时的无法采集。如果用「时间通配符」取日志打印时间,主机时区或时间格式写错,日志就可能落在窗口外。文件类型 FAQ(lts_faq_0003)另写「必须是最近 7 天以内」;接入页里最大 7 天的「首次采集时间偏移量」只用于 Windows 事件日志,不要和文本日志混为一谈。排查文本日志时,先按前后 24 小时检查时间和时区。
  8. 编码和单条大小:支持 UTF-8、GBK;单条日志默认 500KB、最大 1024KB,超出部分截断丢弃,需要时可开「日志拆分」(仅单行日志)。
  9. 增量还是全量:接入页写明,采集策略默认增量(新文件从末尾读),要补采已有内容需改为全量。同时,《ICAgent 限制》(lts-0724)仍写「首次日志采集行为:全量采集,从头开始」,和接入页默认值不一致;以当前接入配置里实际勾选的策略为准。
  10. 主机组:接入向导里「选择主机组」虽然标为可选,但官方写明不勾选「会导致采集配置不生效」;主机没加入该接入配置关联的主机组,同样采不到。

确认配置有没有到主机,官方命令是:

cd /var/ICAgent
cat oss.icAgent.trace | grep 'als event' | grep -v grep | tail -n 1

在输出里找自己配置的日志组、日志流和采集路径。另外,接入管理里目标配置的「更多 > ICAgent采集诊断」可以看异常监控和采集监控,前提是在「ICAgent采集开关」页签打开「ICAgent诊断开关」(官方要求 ICAgent 5.12.196 及以上),运行日志会上报到 lts-system/lts-icagent-statistics。

六、容器场景:CCE 标准输出和容器文件

CCE 应用日志接入 LTS 的几个前提和限制:

  • 只支持 CCE Standard 和 Turbo 集群安装 ICAgent,不支持 Autopilot 集群和敏捷版集群;Containerd 节点和 Turbo 集群要求 ICAgent 5.12.130 及以上。
  • 采集容器标准输出到 AOM 的开关必须关闭。官方原话是开启后标准输出只会采集到 AOM,不会采集到 LTS;关闭后 LTS 里配置的标准输出采集才会生效。这是容器场景「节点日志有、标准输出没有」的头号原因。
  • 在 LTS 主机页面看不到 CCE 集群时,需要先在 AOM 2.0 控制台做云服务授权。
  • 容器标准输出只支持 json-file 类型,每个 ICAgent 最多采集 1000 个标准输出文件。
  • 通过卷挂载采集容器文件时,只支持 HostPath 和 EmptyDir 类型的存储卷,且挂载子路径必须为空;每个卷挂载路径下最多采集 20 个文件。
  • 运行时间很短的容器(官方举例小于 30 秒)可能丢日志,批处理或 Job 类任务要特别注意。

七、延迟与丢失层:先知道「正常」是多少

官方给出的基准:

  • 日志写入磁盘到被采集:正常小于 10 秒(阻塞状态除外)。
  • 日志产生到控制台可搜索:小于 2 分钟(非阻塞情况下)。
  • 实时日志页面:每 5 秒加载一次。

超出这些量级,再看下面几类原因:

  • 积压:单节点原始日志最大采集速率 50MB/s,官方建议单节点总日志产生速度小于 50MB/s;日志量太大、ICAgent 资源不够时会尽量上报、失败重试,持续不足就会积压,表现为越来越晚。
  • 限流:单个日志流写入流量 100MB/s、写入次数 500 次/s,日志组和账号另有上限。官方注明日志流、日志组这两级是非硬性限制,超过后不保证服务质量。CCE 接入文档也提到,「集中采集」到一个固定日志流在大流量场景有性能瓶颈,多个日志流的写入速率可以线性叠加,量大时按业务拆成多个日志流更稳。
  • 网络抖动:出现网络异常时 ICAgent 会每 5 秒重试一次。
  • 丢失或重复:ICAgent 限制文档列出的典型场景有日志文件轮转过快(如 1 秒一次)、容器运行时间过短、单节点日志产生速度超过发送带宽、采集器重启时间点附近可能重复;CCE 场景下未使用 CCE 提供的 logPolicy 轮转策略也在列。

关于轮转,官方 FAQ 的建议值得照做:ICAgent 不负责轮转,用 logback、log4j2、Python logging 或 logrotate 自定义规则,典型配置是超过 100/50/20MB 轮转一次、保留 10~20 个历史文件;轮转后的文件名建议形如 /your/log/path/**/*.xxx.log,xxx 一般是日期且不能含字母。命名不符合内置规则时,可以在路径配置里「添加自定义绕接规则」,避免重复采集和绕接时丢日志。上线前可用「使用绕接规则验证」把轮转后的真实文件名跑一遍。

八、查询与索引层:实时日志有,搜索查不到

  • 索引配置修改后只对新写入的日志生效,历史日志不会补建索引。很多人改完索引回头搜昨天的数据,自然查不到。
  • 报「XXX 字段未配置字段索引」就去索引配置里加字段索引;报「未开启全文索引」就开全文索引。
  • 搜索结果「不精确」是时间范围内日志量太大,官方建议多点几次查询或缩小时间范围;abc def 搜的是同时包含两个词,要匹配短语用 #"abc def"。
  • *、? 不能放在词开头;long、float 字段不能用通配符,string 字段不能用 >=< 或 in 做范围查询。

九、推荐排查顺序

  1. 等够 1~5 分钟,打开日志流「实时日志」触发一条新日志,先确定断在采集链路还是查询层。
  2. 查「ICAgent采集开关」「超额继续采集日志」(含 AOM 侧)、账号欠费、接入任务是否开启。
  3. 看主机 ICAgent 状态;离线就跑 netstat -nap | grep icagent 和认证日志 retCode。
  4. 按主机角色核对端口:同区域主机看出方向,跳板机看入方向(含 80);区域外主机确认跳板机或 VPCEP。
  5. 用 grep 'als event' 确认配置已下发,再逐条核对路径后缀、软链接、黑名单、重复配置、主机组、文件更新时间。
  6. 容器场景先关「采集容器标准输出到AOM」,再查存储卷类型和 ICAgent 版本。
  7. 延迟或丢失:对照 10 秒、2 分钟基准,查单节点日志速率、日志流限额、轮转频率和命名。
  8. 实时日志有、搜不到:查索引配置时间点和搜索语法。

十、速查表

现象 优先怀疑 先看哪里
所有主机同时没日志 采集开关或超额开关被关、欠费 配置中心、AOM 开关
ICAgent 离线 端口不通或 AK/SK 错 netstat、retCode
显示「未安装」但装过 超过一周没心跳 开机、网络,再覆盖安装
装完主机不出现 跨 Region 命令或 AK/SK 被删 安装页面所在 Region
ICAgent 反复重启 资源超限 grep 'icagent exit'
状态运行但无日志 配置未下发或不在主机组 grep 'als event'
配目录采不到 文件后缀不是 .log/.trace/.out 改为文件路径或通配
软链接目录采不到 不支持软链接 写真实路径
拿旧文件测试没日志 首次采集超过 6 小时未修改,或已跟踪的文件超过 3 分钟未更新 文件修改时间
保存配置报路径重复 同路径已配置或 AOM 已配 允许文件多次采集
CCE 标准输出采不到 标准输出到 AOM 开关开着 主机页 CCE 集群页签
日志越来越晚 单节点日志量过大、积压 日志速率、ICAgent 资源
轮转后缺段或重复 轮转过快、命名不规范 绕接规则
长日志被截断 单条超过 500KB/1024KB 日志拆分
实时有、搜索无 索引后配或语法 索引配置、搜索语法

十一、常见坑

  • 一有问题就重装:开关或路径的问题重装没用,先看 retCode、switchList 和 als event。
  • 只看 LTS 不看 AOM:两边的采集开关和超额开关是同步的。
  • 配目录采 .txt:目录模式只认 .log、.trace、.out。
  • 用旧文件测采集:首次采集超过 6 小时未修改的文件会被跳过,用 echo 往新文件追加一行更直观。
  • CCE 忘关标准输出到 AOM:开着时标准输出只进 AOM。
  • 改完索引搜历史数据:索引只对之后写入的日志生效。

十二、官方参考

在LTS页面完成ICAgent安装后显示离线怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0141.html
ICAgent安装完成后,在LTS页面不显示怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0072.html
ICAgent安装完成后反复重启怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0133.html
在LTS页面无法查询新产生的日志怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0131.html
通过ICAgent接入LTS后无法采集到日志?
https://support.huaweicloud.com/lts_faq/lts_faq_0089.html
主机接入LTS后无法采集到日志?
https://support.huaweicloud.com/lts_faq/lts_faq_0025.html
LTS配置日志接入后多久有日志?
https://support.huaweicloud.com/lts_faq/lts_faq_0071.html
无法查看上报到LTS的日志怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0031.html
在AOM关闭超额继续采集日志开关,会影响LTS收集日志吗?
https://support.huaweicloud.com/lts_faq/lts_faq_0022.html
云日志服务LTS支持采集的日志类型和文件类型有哪些?
https://support.huaweicloud.com/lts_faq/lts_faq_0003.html
使用ICAgent收集日志时CPU占用较高怎么处理?
https://support.huaweicloud.com/lts_faq/lts_faq_0008.html
如何在LTS页面关闭CCE标准输出日志采集到AOM?
https://support.huaweicloud.com/lts_faq/lts_faq_0070.html
使用ICAgent采集日志时,推荐的日志轮转方案是什么?
https://support.huaweicloud.com/lts_faq/lts_faq_0080.html
查看LTS实时最新日志,每一次加载数据时延是多久?
https://support.huaweicloud.com/lts_faq/lts_faq_0001.html
在LTS页面无法搜索日志时怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0140.html
ICAgent限制
https://support.huaweicloud.com/productdesc-lts/lts-0724.html
日志读写限制
https://support.huaweicloud.com/productdesc-lts/lts-0718.html
搜索与分析限制
https://support.huaweicloud.com/productdesc-lts/lts-0719.html
安装ICAgent(区域内主机)
https://support.huaweicloud.com/usermanual-lts/lts_02_0013.html
主机场景管理ICAgent
https://support.huaweicloud.com/usermanual-lts/lts_02_0014.html
云主机ECS文本日志接入LTS
https://support.huaweicloud.com/usermanual-lts/lts_04_1031.html
云容器引擎CCE应用日志接入LTS
https://support.huaweicloud.com/usermanual-lts/lts_04_0511.html
容器场景管理ICAgent
https://support.huaweicloud.com/usermanual-lts/lts_07_1119.html
设置ICAgent日志采集开关
https://support.huaweicloud.com/usermanual-lts/lts_05_0003.html
设置LTS日志采集配额和使用量预警
https://support.huaweicloud.com/usermanual-lts/lts_0904.html
创建LTS日志索引
https://support.huaweicloud.com/usermanual-lts/lts_05_0008.html
采集Syslog汇聚服务器日志到LTS
https://support.huaweicloud.com/bestpractice-lts/lts_07_0019.html
采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS
https://support.huaweicloud.com/bestpractice-lts/lts_07_0018.html
安装ICAgent(区域外主机)
https://support.huaweicloud.com/usermanual-lts/lts_02_0828.html
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。