1、LTS介绍

云日志服务（Log Tank Service，简称LTS），用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供实时、高效、安全的日志处理能力，帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。

2、LTS基本概念

2.1、日志组

日志组（LogGroup）是云日志服务进行日志管理的基本单位，可以创建日志流以及设置日志存储时间。

日志组的创建类型分为用户创建（主动）和云服务创建（被动）。

• 用户创建：用户在云日志服务控制台进行创建的日志组。
• 云服务创建：指华为云其他云服务与云日志服务进行系统对接后，系统将自动在云日志服务控制台创建日志组和日志流，云服务的运行日志将发送到对应的日志流中。

2.2、日志流

日志流（LogStream）是日志读写的基本单位，日志组中可以创建日志流，方便对日志进一步分类管理。

日志读写以日志流为单位，您可以在写入时指定日志流，将不同类型的日志分类存储，ICAgent采集日志后，将多条日志数据进行打包，以日志流为单位发往云日志服务，日志流的读写方式可以最大限度地减少读取与写入次数，提高业务效率。

例如，您可以将不同的日志（操作日志、访问日志等）写入不同的日志流，查询日志时可以进入对应的日志流快速查看日志。

2.3、ICAgent

ICAgent是云日志服务的日志采集工具，运行在需要采集日志的主机中。首次使用云日志服务采集日志时，需要安装ICAgent，如果需要采集多台主机的日志，还支持批量安装ICAgent，在云日志服务控制台可以实时查看ICAgent的运行状态。

3、LTS基本功能

3.1、实时采集日志

云日志服务提供实时日志采集功能，采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询，并且可以长期存储。

采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理，提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。

3.2、日志查询与实时分析

对采集的日志数据，可以通过关键字查询、模糊查询等方式简单快速地进行查询，适用于日志实时数据分析、安全诊断与分析、运营与客服系统等，例如云服务的访问量、点击量等，通过日志数据分析，可以输出详细的运营数据。

3.3、日志监控与告警

云日志服务结合应用运维管理（Application Operations Management，简称AOM），支持对存储在云日志服务中的日志数据进行关键词统计，通过在一定时间段内日志中关键字出现次数，实时监控服务运行状态。

3.4、日志转储

主机和云服务的日志数据上报至云日志服务后，默认存储时间为7天，可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除，对于需要长期存储的日志数据（日志持久化），云日志服务提供转储功能，可以将日志转储至对象存储服务（OBS）、数据接入服务（DIS）中长期保存。日志转储基于复制的转储机制，在LTS设置的存储时间内转储至OBS的日志，不会在LTS被删除。

4、产品优势

4.1、全托管式

华为云日志统一管理平台， 提供从采集、接入、存储、搜索、转储（冷热分离）、结构化处理、SQL查询和可视化分析一站式服务。

4.2、海量日志管理

PB级海量日志管理，十亿级日志秒级搜索，每天可支持200TB日志接入，亿级日志SQL聚合查询。

4.3、安全可靠

分权分域管理，HTTPS加密等安全技术保障数据可靠性，SLA支持99.95%，超5000家企业选择。

4.4、高性价比

相比传统日志管理系统，省去人工运维。灵活应对业务高峰，快速扩容，按需计费，无需预留额外资源。

5、LTS应用场景

5.1、日志采集与分析

主机和云服务的日志数据，不方便查阅并且会定期清空。云日志服务采集日志后，日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询，并且可以长期存储。对采集的日志数据，可以通过关键字查询、模糊查询等方式简单快速地进行查询，适用于日志实时数据分析、安全诊断与分析、运营与客服系统等，例如云服务的访问量、点击量等，通过日志数据分析，可以输出详细的运营数据。

优势

• 全托管式

提供日志采集、存储、老化、搜索和转储

• 海量日志管理

支持每天百TB级日志的接入，十亿级日志秒级搜索

• 性价比高

维护成本低，按需计费，轻松应对高峰日志流量

5.2、统计分析

统计分析

日志通常以固定的格式按条输出，将日志按照指定规则拆分成键值对，即可对日志进行统计分析

优势

• 多种结构化解析

支持JSON、分隔符、nginx、正则和云服务（ELB/VPC/CTS等日志）格式结构化解析

• SQL聚合

支持标准的SQL，查询语法丰富，学习成本低

• 可视化图表

提供曲线、柱状、饼图等多种图表，同时支持仪表盘全屏展示

5.3、审计分析

审计分析

企业在做审计或等保时，需要收集各种类型的日志，同时支持至少180天存储，部分日志可永久保存

优势

• 日志源丰富

支持华为云数十种日志，包括网络、安全、审计等

• 结构化查询

支持结构化拆分，像数据库一样查询各类日志，可将日志存储至OBS，永久存储

• 实时告警

自定义关键词或阈值告警规则，实时监控日志中异常

6、操作实践

6.1、云日志使用流程

云日志服务用于收集来自主机和云服务的日志数据，通过海量日志数据的分析与处理，可以将云服务和应用程序的可用性和性能最大化，为您提供一个实时、高效、安全的日志处理能力。

使用云日志服务的流程如下所示。

   1、创建日志组

在使用云日志服务时，您首先需要创建一个日志组。

   2、创建日志流

日志流是日志读写的基本单位，在日志组中创建日志流，将不同类型的日志分类存储，方便对日志进一步分类管理。

    3、日志接入

需要将主机待采集日志的路径配置到日志流中，以日志流为单位将日志发往云日志服务。

     4、实时查看日志

完成日志采集规则配置后，可以在云日志控制台实时查看上报的日志。

6.2、云日志服务使用

进入云日志服务前，请您将区域切换至主机所在的区域。

区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。

1. 登录华为云，在右上角单击“控制台”。

   1、在控制台左上角单击 ，选择区域和项目。

   2、选择“服务列表 > 管理与监管 > 云日志服务 LTS”，进入云日志服务管理控制台。

6.3、日志接入

当您选择了主机接入方式时，云日志服务可以将主机待采集日志的路径配置到日志流中，ICAgent将按照日志采集规则采集日志，并将多条日志进行打包，以日志流为单位发往云日志服务，您可以在云日志服务控制台实时查看日志。

6.3.1、操作步骤

按照如下操作完成接入配置。

  1、选择日志流

1. 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。
2. 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。
3. 单击“下一步：选择主机组”。

  2、选择主机组

1. 1. 在主机组列表中选择一个或多个需要采集日志的主机组，若没有所需的主机组，单击列表左上方“新建”，在弹出的新建主机组页面创建新的主机组。
   2. 单击“下一步：采集配置”。

  3、采集配置

1. 1. 对主机日志采集设置具体的采集规则。
   2. 设置完成后单击“提交”。

接入成功，可以单击“返回接入配置列表”，也可单击“查看日志流”查看该日志流下的采集日志。

6.3.2、采集配置

在使用主机接入完成日志接入时，在第3步采集配置的具体配置如下：

采集配置

6.3.3、查看日志接入

在云日志服务管理控制台，单击“日志接入”，或在完成主机接入成功后单击“返回接入配置列表”，进入日志接入页面。

• 在接入配置列表中显示已配置完成的接入配置，单击接入配置名称可进入详情页面，查看该接入配置详细信息。
• 单击所属日志组或所属日志流，可以进入对应日志组列表或日志流页面查看详细。
• 修改日志接入：单击需修改接入配置所在行操作列的 ，参考日志接入的操作步骤进行修改。
• 删除日志接入：单击需删除接入配置所在行操作列的 ，或者勾选需删除的接入配置，单击页面左上方“批量删除”，可以对多个配置进行批量删除。

6.4、日志管理

云日志服务控制台首页提供资源统计、我的收藏、最近访问、告警统计、最新告警、功能上线公告和FAQ等信息。

6.4.1、资源统计

资源统计展示账号下所有日志前一天的读写流量、索引流量和存储量，以及这些指标的日环比数据。

如需查看资源明细，您可以单击相关明细。

6.4.2、告警统计

告警统计展示云服务日志的告警总数及各个告警级别的数量。告警统计时间有：近30分钟、近1小时、近6小时、近1天和近1周；告警级别包括紧急、重要、次要和提示。

6.4.3、最新告警

最新告警展示最新创建的告警规则，最多可显示3条告警规则。

6.4.4、公告

公告是对新功能的介绍，展示云日志服务功能的最新动态。

6.4.5、我的收藏

我的收藏展示您收藏的日志流。

您可以通过云日志服务提供的收藏功能个性化定制属于自己的收藏日志流列表，方便您直接、快速的定位到常用的日志流。

以日志组lts-test为例，收藏日志组lts-test下某个日志流的操作步骤如下：

1. 登录云服务日志控制台
2. 在日志组列表区域，单击日志组lts-test对应的 按钮，选择待收藏的日志流。
3. 单击日志流右侧 图标，可收藏日志流。

• 在我的收藏中，鼠标悬浮待取消收藏的日志流，单击 ，即可取消收藏

6.4.6、最近访问

最近访问展示最近访问的日志流。

7、小结

华为云日志服务LTS可以提供日志收集、分析、存储等服务。用户可以通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。相信随着云日志功能不断增强，后续能提供更多服务功能。

本文参与华为云社区【内容共创】活动第20期。
https://bbs.huaweicloud.com/blogs/374925

任务22：两小时玩转华为云日志服务LTS