华为云 LTS 日志采集不到、ICAgent 离线、日志延迟或丢失?分层排查指南
「主机列表里 ICAgent 一直显示离线」「接入配置建好半天,日志流里一条都没有」「日志能看到,但总比业务晚几分钟」「轮转之后少了一段」,是云日志服务 LTS 最常见的几类求助。常见的情况是一上来就重装 ICAgent,最后发现是采集开关被关了、路径写成了软链接,或者文件太久没更新被跳过。本文对照 support.huaweicloud.com 上 LTS 的官方文档,把问题拆成控制台开关与配额、ICAgent 状态、网络与认证、采集规则、容器场景、延迟与丢失、查询与索引七层,最后给出排查顺序、速查表和常见坑。菜单名、版本号和数值以官方当前页面为准。
下文以 ECS 主机文本日志为主线,CCE 容器场景单独成节。
一、先定层:看现象落在哪一段
日志链路大致是:应用写盘 → ICAgent 读取 → 上报 LTS → 建索引 → 控制台展示。断在哪一段,现象不同:
| 层 | 典型现象 | 一句话判断 |
|---|---|---|
| 控制台开关与配额 | 之前正常,某天起所有主机一起没日志 | 账号级开关或欠费 |
| ICAgent 状态 | 主机列表显示离线、未安装、鉴权错误,或主机根本不出现 | 采集器本身没跑起来 |
| 网络与认证 | 离线,netstat 看不到 ESTABLISHED |
到管理面的端口不通或 AK/SK 不对 |
| 采集规则 | ICAgent 运行,但某个路径一直没日志 | 路径、文件类型、时间窗口不匹配 |
| 容器场景 | 节点日志有,容器标准输出没有 | AOM 开关、存储卷类型、版本 |
| 延迟与丢失 | 日志晚到、偶发缺段或重复 | 积压、轮转、限流 |
| 查询与索引 | 实时日志有数据,搜索却查不到 | 索引或搜索语法 |
最实用的分界点是日志流的「实时日志」:官方 FAQ 建议打开该页面后不点任何按钮,触发一条新日志,看是否自动刷出数据。刷得出来,问题在查询与索引层;刷不出来,往前查采集链路。
另外,官方写明接入后需要等待 1~5 分钟才开始上报,配置更新生效约 1~3 分钟,刚保存就判断「采不到」常是误判。
二、控制台开关与配额层:先排除「全局被关」
这一层影响面大、和单台主机无关,放在最前面:
- ICAgent 采集开关:在「配置中心 > ICAgent采集开关」。默认打开,关闭后 ICAgent 会停止采集日志,并且 AOM 控制台的「日志采集开关」也会同步关闭。
- 超额继续采集日志:在「配置中心 > 配额设置」。每月有 500M 免费额度,该开关默认开启;如果被关闭,超过免费额度后会暂停采集,无法再进行日志读写和索引,已存的日志继续按存储计费。
- AOM 侧同步:两个服务的「超额继续采集日志」开关是同步状态,在 AOM 关闭也会让 LTS 停止收集。很多人只盯着 LTS 控制台,没想到改动发生在 AOM。
- 欠费:官方「无法查看上报到LTS的日志」把「当前账号欠费,故采集器停止采集」列为原因之一。
- 接入任务状态:在「接入 > 接入管理」里确认对应的接入配置状态显示「开启」。
如果要在主机上确认开关是否真的下发到了 ICAgent,官方给的方法是:
cd /var/ICAgent
cat oss.icAgent.trace | grep switchList
cat /var/share/oss/manager/ICProbeAgent/internal/TRACE_CONFIG/swithes_context.json
看最新一条配置里 switch.log 是否为 true。注意文件名里的 swithes_context.json 就是官方原文的拼写,不要自己「改正」。
三、ICAgent 状态层:离线、不显示、反复重启
1. 先读懂状态
在「主机管理 > 主机」查看 ICAgent 状态,几个容易混淆的值:
| 状态 | 官方含义 |
|---|---|
| 运行 | ICAgent 运行正常 |
| 离线 | AK/SK 错误;或网络异常、主机关机等导致超过 10 分钟没有上报心跳 |
| 未安装 | 网络异常或主机关机等导致超过一周没有上报心跳(并不一定是真没装) |
| 鉴权错误 | 安装时配置的参数问题导致无法正常鉴权 |
| 异常 | ICAgent 功能异常,需联系技术支持 |
也就是说,一台关机超过一周的机器,开机后在列表里可能显示「未安装」。先确认主机已开机、网络正常,再观察状态;仍不恢复时重新执行安装命令即可。「覆盖安装、不用先卸载」出自主机场景管理文档的升级失败那一段;刚在界面卸载过的,先等 5 分钟再装。Windows 升级仍要先卸载。
2. 显示离线
官方 FAQ 的步骤分两步:
netstat -nap | grep icagent
cd /var/ICAgent
zgrep 'msworkflow' * | grep 'retCode\['
- 服务端
30200、30201端口的连接是ESTABLISHED说明网络正常,否则查安全组(见下一节)。 - 认证返回码
200表示认证成功,仍离线建议提工单;不是200则检查 AK/SK,用正确的 AK/SK 重新安装。
3. 安装完主机列表里不出现
ECS 接入场景官方列了三条:安装命令要从当前 Region 的安装页面复制,不能使用跨 Region 的安装命令;AK/SK 正确且没有被删除;netstat 连接正常。安装文档还特别提醒,AK/SK 被删除或禁用会导致已安装的 ICAgent 无法正常上报,所以建议使用文档里说的「公共用户账号」创建、不会被随手删除或禁用的 AK/SK。
两个安装相关的小坑:
- 安装前要确保本地浏览器的时间、时区与主机一致,不一致可能导致日志上报出错。
- 主机安装场景不支持用「已安装 ICAgent 的主机镜像」直接装新机器,否则 ICAgent 功能异常;要批量复制,请用安装页面专门的「镜像安装」方式。用「创建IAM委托」方式安装时,授权后需等待 15~30 分钟才生效。
4. 反复重启
官方 FAQ 给的原因是资源占用超过 ICAgent 自身限制,或 ICAgent 本身异常:
cd /var/ICAgent
cat oss.icAgent.trace | grep 'icagent exit'
cat oss.script.trace | grep runtime
ICAgent 限制文档写明:内存消耗不超过「4G 与节点物理内存一半」中的较小值,超过时启动重启保护;资源超限的处理策略是强制重启,期间若发生日志轮转,可能丢失或重复。采集路径下堆着大量日志文件时 CPU 也容易偏高,官方建议定时清理。
四、网络与认证层:端口和区域
ICAgent 限制文档列出的访问端口:
| 端口 | 用途 |
|---|---|
30200 |
ICAgent 注册 |
30201 |
ICAgent 状态配置 |
8102 |
日志上报 |
8149 |
上报监控指标 |
8923 |
上报数据到 APM |
几点说明:
- 离线 FAQ 只点名了
30200、30201,但日志真正上报走8102。官方未直接写这种组合现象,按端口用途推断:如果只放通了控制端口、日志上报端口不通,可能出现状态正常、日志却上不来的情况,可以用官方的发送失败检查命令确认:cat oss.icAgent.trace | grep httpsend | grep 'dataType:TRACE' | grep failed。 - 方向问题:两页官方文档对安全组方向的写法不一致,适用场景也不同。Syslog 最佳实践(lts_07_0019)写的是主机安全组出方向放通 TCP
30200、30201、8149、8923、8102;「云主机ECS文本日志接入LTS」(lts_04_1031)前提条件写的是开放入方向,还多一个80,这跟区域外跳板机文档(lts_02_0828、lts_07_0018)一致,那里是跳板机才需要开入方向。ICAgent 是客户端,同区域主机一般核对出方向就行,不要因为接入页那一句就放宽普通 ECS 的入方向。「默认出方向全放行」是 ECS 安全组常见的默认设置,不是 LTS 原文;如果出方向曾被收紧,再按上面的端口核对出方向即可。 - 区域外主机(其他云、IDC、华为云其他 Region)安装时要选网络连通方式:公网或专线,官方建议优先专线。专线场景下 ICAgent 默认无法直接访问当前 Region 上报日志的网段,需要用跳板机或 VPCEP(VPC 终端节点)打通,测试或小流量可用跳板机,大流量推荐 VPCEP;跨 Region 采集时,跳板机要买在目标 LTS 所在的 Region。
五、采集规则层:ICAgent 在跑,但这个文件就是不采
这一层最容易「看起来一切正常」,逐条对照:
- 目录 vs 文件:路径配的是目录(如
/var/logs/)时,只采集后缀为.log、.trace、.out的文件;配的是文件名才会直接采集,且只支持文本文件。日志叫app.txt或不带后缀时,配目录永远采不到。 - 软链接:ICAgent 限制文档写明不支持软链接。
/var/log/app指向数据盘的情况,要直接写真实路径。 - 通配写法:
**表示递归 5 层,路径里只能出现一次,第一层不允许是**(如/**/test是错的);单个配置最多 30 个路径。保存前可以用控制台的「使用路径验证」。 - 重复配置:关闭「允许文件多次采集」时,同一主机的同一路径即使跨日志组和日志流也只能配置一次;同一路径已在 AOM 配过的,也不能在 LTS 重复配置。
- 黑名单优先:黑名单与采集路径重合时,优先过滤黑名单;已经加了黑名单的文件,新建接入也采不到,要先删掉黑名单里的路径。
- 文件太久没更新会被跳过:ECS 文本日志接入文档写明,新文件(首次采集)最后修改时间与当前时间相差超过 6 小时不采集;旧文件(非首次采集)相差超过 3 分钟不采集。拿一个昨天的旧文件来「测试采集」,大概率什么都没有。
- 日志时间窗口:前后 24 小时是《日志读写限制》(lts-0718)和接入页(lts_04_1031)的说法:日志时间超出当前时间前后 24 小时的无法采集。如果用「时间通配符」取日志打印时间,主机时区或时间格式写错,日志就可能落在窗口外。文件类型 FAQ(lts_faq_0003)另写「必须是最近 7 天以内」;接入页里最大 7 天的「首次采集时间偏移量」只用于 Windows 事件日志,不要和文本日志混为一谈。排查文本日志时,先按前后 24 小时检查时间和时区。
- 编码和单条大小:支持 UTF-8、GBK;单条日志默认 500KB、最大 1024KB,超出部分截断丢弃,需要时可开「日志拆分」(仅单行日志)。
- 增量还是全量:接入页写明,采集策略默认增量(新文件从末尾读),要补采已有内容需改为全量。同时,《ICAgent 限制》(lts-0724)仍写「首次日志采集行为:全量采集,从头开始」,和接入页默认值不一致;以当前接入配置里实际勾选的策略为准。
- 主机组:接入向导里「选择主机组」虽然标为可选,但官方写明不勾选「会导致采集配置不生效」;主机没加入该接入配置关联的主机组,同样采不到。
确认配置有没有到主机,官方命令是:
cd /var/ICAgent
cat oss.icAgent.trace | grep 'als event' | grep -v grep | tail -n 1
在输出里找自己配置的日志组、日志流和采集路径。另外,接入管理里目标配置的「更多 > ICAgent采集诊断」可以看异常监控和采集监控,前提是在「ICAgent采集开关」页签打开「ICAgent诊断开关」(官方要求 ICAgent 5.12.196 及以上),运行日志会上报到 lts-system/lts-icagent-statistics。
六、容器场景:CCE 标准输出和容器文件
CCE 应用日志接入 LTS 的几个前提和限制:
- 只支持 CCE Standard 和 Turbo 集群安装 ICAgent,不支持 Autopilot 集群和敏捷版集群;Containerd 节点和 Turbo 集群要求 ICAgent 5.12.130 及以上。
- 采集容器标准输出到 AOM 的开关必须关闭。官方原话是开启后标准输出只会采集到 AOM,不会采集到 LTS;关闭后 LTS 里配置的标准输出采集才会生效。这是容器场景「节点日志有、标准输出没有」的头号原因。
- 在 LTS 主机页面看不到 CCE 集群时,需要先在 AOM 2.0 控制台做云服务授权。
- 容器标准输出只支持
json-file类型,每个 ICAgent 最多采集 1000 个标准输出文件。 - 通过卷挂载采集容器文件时,只支持 HostPath 和 EmptyDir 类型的存储卷,且挂载子路径必须为空;每个卷挂载路径下最多采集 20 个文件。
- 运行时间很短的容器(官方举例小于 30 秒)可能丢日志,批处理或 Job 类任务要特别注意。
七、延迟与丢失层:先知道「正常」是多少
官方给出的基准:
- 日志写入磁盘到被采集:正常小于 10 秒(阻塞状态除外)。
- 日志产生到控制台可搜索:小于 2 分钟(非阻塞情况下)。
- 实时日志页面:每 5 秒加载一次。
超出这些量级,再看下面几类原因:
- 积压:单节点原始日志最大采集速率 50MB/s,官方建议单节点总日志产生速度小于 50MB/s;日志量太大、ICAgent 资源不够时会尽量上报、失败重试,持续不足就会积压,表现为越来越晚。
- 限流:单个日志流写入流量 100MB/s、写入次数 500 次/s,日志组和账号另有上限。官方注明日志流、日志组这两级是非硬性限制,超过后不保证服务质量。CCE 接入文档也提到,「集中采集」到一个固定日志流在大流量场景有性能瓶颈,多个日志流的写入速率可以线性叠加,量大时按业务拆成多个日志流更稳。
- 网络抖动:出现网络异常时 ICAgent 会每 5 秒重试一次。
- 丢失或重复:ICAgent 限制文档列出的典型场景有日志文件轮转过快(如 1 秒一次)、容器运行时间过短、单节点日志产生速度超过发送带宽、采集器重启时间点附近可能重复;CCE 场景下未使用 CCE 提供的 logPolicy 轮转策略也在列。
关于轮转,官方 FAQ 的建议值得照做:ICAgent 不负责轮转,用 logback、log4j2、Python logging 或 logrotate 自定义规则,典型配置是超过 100/50/20MB 轮转一次、保留 10~20 个历史文件;轮转后的文件名建议形如 /your/log/path/**/*.xxx.log,xxx 一般是日期且不能含字母。命名不符合内置规则时,可以在路径配置里「添加自定义绕接规则」,避免重复采集和绕接时丢日志。上线前可用「使用绕接规则验证」把轮转后的真实文件名跑一遍。
八、查询与索引层:实时日志有,搜索查不到
- 索引配置修改后只对新写入的日志生效,历史日志不会补建索引。很多人改完索引回头搜昨天的数据,自然查不到。
- 报「XXX 字段未配置字段索引」就去索引配置里加字段索引;报「未开启全文索引」就开全文索引。
- 搜索结果「不精确」是时间范围内日志量太大,官方建议多点几次查询或缩小时间范围;
abc def搜的是同时包含两个词,要匹配短语用#"abc def"。 *、?不能放在词开头;long、float 字段不能用通配符,string 字段不能用>=<或in做范围查询。
九、推荐排查顺序
- 等够 1~5 分钟,打开日志流「实时日志」触发一条新日志,先确定断在采集链路还是查询层。
- 查「ICAgent采集开关」「超额继续采集日志」(含 AOM 侧)、账号欠费、接入任务是否开启。
- 看主机 ICAgent 状态;离线就跑
netstat -nap | grep icagent和认证日志retCode。 - 按主机角色核对端口:同区域主机看出方向,跳板机看入方向(含
80);区域外主机确认跳板机或 VPCEP。 - 用
grep 'als event'确认配置已下发,再逐条核对路径后缀、软链接、黑名单、重复配置、主机组、文件更新时间。 - 容器场景先关「采集容器标准输出到AOM」,再查存储卷类型和 ICAgent 版本。
- 延迟或丢失:对照 10 秒、2 分钟基准,查单节点日志速率、日志流限额、轮转频率和命名。
- 实时日志有、搜不到:查索引配置时间点和搜索语法。
十、速查表
| 现象 | 优先怀疑 | 先看哪里 |
|---|---|---|
| 所有主机同时没日志 | 采集开关或超额开关被关、欠费 | 配置中心、AOM 开关 |
| ICAgent 离线 | 端口不通或 AK/SK 错 | netstat、retCode |
| 显示「未安装」但装过 | 超过一周没心跳 | 开机、网络,再覆盖安装 |
| 装完主机不出现 | 跨 Region 命令或 AK/SK 被删 | 安装页面所在 Region |
| ICAgent 反复重启 | 资源超限 | grep 'icagent exit' |
| 状态运行但无日志 | 配置未下发或不在主机组 | grep 'als event' |
| 配目录采不到 | 文件后缀不是 .log/.trace/.out |
改为文件路径或通配 |
| 软链接目录采不到 | 不支持软链接 | 写真实路径 |
| 拿旧文件测试没日志 | 首次采集超过 6 小时未修改,或已跟踪的文件超过 3 分钟未更新 | 文件修改时间 |
| 保存配置报路径重复 | 同路径已配置或 AOM 已配 | 允许文件多次采集 |
| CCE 标准输出采不到 | 标准输出到 AOM 开关开着 | 主机页 CCE 集群页签 |
| 日志越来越晚 | 单节点日志量过大、积压 | 日志速率、ICAgent 资源 |
| 轮转后缺段或重复 | 轮转过快、命名不规范 | 绕接规则 |
| 长日志被截断 | 单条超过 500KB/1024KB | 日志拆分 |
| 实时有、搜索无 | 索引后配或语法 | 索引配置、搜索语法 |
十一、常见坑
- 一有问题就重装:开关或路径的问题重装没用,先看
retCode、switchList和als event。 - 只看 LTS 不看 AOM:两边的采集开关和超额开关是同步的。
- 配目录采
.txt:目录模式只认.log、.trace、.out。 - 用旧文件测采集:首次采集超过 6 小时未修改的文件会被跳过,用
echo往新文件追加一行更直观。 - CCE 忘关标准输出到 AOM:开着时标准输出只进 AOM。
- 改完索引搜历史数据:索引只对之后写入的日志生效。
十二、官方参考
在LTS页面完成ICAgent安装后显示离线怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0141.html
ICAgent安装完成后,在LTS页面不显示怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0072.html
ICAgent安装完成后反复重启怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0133.html
在LTS页面无法查询新产生的日志怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0131.html
通过ICAgent接入LTS后无法采集到日志?
https://support.huaweicloud.com/lts_faq/lts_faq_0089.html
主机接入LTS后无法采集到日志?
https://support.huaweicloud.com/lts_faq/lts_faq_0025.html
LTS配置日志接入后多久有日志?
https://support.huaweicloud.com/lts_faq/lts_faq_0071.html
无法查看上报到LTS的日志怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0031.html
在AOM关闭超额继续采集日志开关,会影响LTS收集日志吗?
https://support.huaweicloud.com/lts_faq/lts_faq_0022.html
云日志服务LTS支持采集的日志类型和文件类型有哪些?
https://support.huaweicloud.com/lts_faq/lts_faq_0003.html
使用ICAgent收集日志时CPU占用较高怎么处理?
https://support.huaweicloud.com/lts_faq/lts_faq_0008.html
如何在LTS页面关闭CCE标准输出日志采集到AOM?
https://support.huaweicloud.com/lts_faq/lts_faq_0070.html
使用ICAgent采集日志时,推荐的日志轮转方案是什么?
https://support.huaweicloud.com/lts_faq/lts_faq_0080.html
查看LTS实时最新日志,每一次加载数据时延是多久?
https://support.huaweicloud.com/lts_faq/lts_faq_0001.html
在LTS页面无法搜索日志时怎么办?
https://support.huaweicloud.com/lts_faq/lts_faq_0140.html
ICAgent限制
https://support.huaweicloud.com/productdesc-lts/lts-0724.html
日志读写限制
https://support.huaweicloud.com/productdesc-lts/lts-0718.html
搜索与分析限制
https://support.huaweicloud.com/productdesc-lts/lts-0719.html
安装ICAgent(区域内主机)
https://support.huaweicloud.com/usermanual-lts/lts_02_0013.html
主机场景管理ICAgent
https://support.huaweicloud.com/usermanual-lts/lts_02_0014.html
云主机ECS文本日志接入LTS
https://support.huaweicloud.com/usermanual-lts/lts_04_1031.html
云容器引擎CCE应用日志接入LTS
https://support.huaweicloud.com/usermanual-lts/lts_04_0511.html
容器场景管理ICAgent
https://support.huaweicloud.com/usermanual-lts/lts_07_1119.html
设置ICAgent日志采集开关
https://support.huaweicloud.com/usermanual-lts/lts_05_0003.html
设置LTS日志采集配额和使用量预警
https://support.huaweicloud.com/usermanual-lts/lts_0904.html
创建LTS日志索引
https://support.huaweicloud.com/usermanual-lts/lts_05_0008.html
采集Syslog汇聚服务器日志到LTS
https://support.huaweicloud.com/bestpractice-lts/lts_07_0019.html
采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS
https://support.huaweicloud.com/bestpractice-lts/lts_07_0018.html
安装ICAgent(区域外主机)
https://support.huaweicloud.com/usermanual-lts/lts_02_0828.html
- 点赞
- 收藏
- 关注作者
评论(0)