华为云 LTS 日志服务实战：从采集到分析

前言

日志服务（LTS）提供全栈日志采集、存储和查询分析能力。本文介绍如何用 LTS 构建统一的日志管理平台。

LTS 核心概念

日志组

日志组是日志的管理单元，按业务或环境划分。例如生产日志组、测试日志组、应用日志组。

日志流

日志流是日志组内的日志通道，按服务或类型划分。例如在应用日志组下创建订单服务流、用户服务流。

结构化配置

将非结构化日志解析为结构化字段，支持按字段检索和分析。支持 JSON、正则、分隔符等多种解析方式。

日志采集

ECS 日志

安装 ICAgent 到 ECS 实例，配置采集规则。ICAgent 监控指定日志文件，新增日志自动上报到 LTS。

采集规则配置：指定日志文件路径、日志组、日志流。支持通配符匹配多个文件。

K8s 日志

CCE 集群集成 LTS，容器标准输出日志自动采集。配置采集规则指定日志组流，支持按命名空间和 Pod 标签过滤。

云服务日志

华为云服务日志可直接接入 LTS：

ELB 访问日志：记录每个请求的详细信息。
VPC 流日志：记录网络流量用于安全分析。
CTS 审计日志：记录 API 调用用于合规审计。

日志查询

全文检索

输入关键词搜索日志，支持模糊匹配和逻辑运算。AND 表示同时包含，OR 表示包含任一，NOT 表示排除。

结构化检索

结构化日志支持按字段查询：

字段等于值：精确匹配。
字段大于值：范围查询。
字段包含值：模糊匹配。

时间范围

指定查询时间范围，支持相对时间（最近 15 分钟）和绝对时间（指定起止时间）。查询结果按时间倒序排列。

日志分析

SQL 分析

对结构化日志执行 SQL 查询：

统计计数：统计日志条数按字段分组。
聚合计算：计算平均值、最大值、最小值、分位数。
时间序列：按时间分桶统计趋势。
Top 排行：按字段统计排名。

可视化

查询结果可视化展示：

折线图：展示指标随时间变化趋势。
柱状图：对比不同分组的数值。
饼图：展示各部分占比。
数字面板：展示单值指标。

告警

基于日志查询配置告警规则：

查询结果条数超过阈值告警。
字段值超过阈值告警。
错误日志比例超过阈值告警。

应用场景

问题排查

线上故障时快速检索日志定位问题：

按时间范围缩小范围。
按请求 ID 追踪完整调用链。
按错误关键词搜索异常日志。
结合结构化字段过滤相关日志。

安全审计

分析安全相关日志：

VPC 流日志分析异常流量。
CTS 审计日志检查敏感操作。
WAF 日志分析攻击行为。
登录日志检测异常登录。

业务分析

从日志中提取业务指标：

统计 API 调用量和错误率。
分析用户行为路径。
监控业务关键流程的成功率。
提取业务指标生成报表。

性能优化

采集优化

避免采集无用日志浪费存储和带宽。配置采集规则过滤 DEBUG 级别日志，只采集 INFO 及以上。

查询优化

缩小时间范围加速查询。使用结构化字段查询比全文检索快。避免大范围扫描查询，用索引加速。

存储优化

配置日志保留期，过期自动删除。热数据短期保留供查询，冷数据转存 OBS 长期归档。

常见问题

问：日志查询很慢怎么办？
答：缩小时间范围，使用结构化字段查询，为常用查询字段创建索引。

问：日志丢失怎么排查？
答：检查 ICAgent 运行状态，检查采集规则配置，检查网络连通性，检查日志文件权限。

总结

LTS 提供统一的日志管理平台，从采集到分析全流程覆盖。合理规划日志组和流，配置结构化解析提升查询效率。日志是排查问题和分析业务的重要数据源，完善的日志体系让运维更高效。