【云小课】应用平台第30课 基于应用运行日志（Log4j格式）分析

Log4j是Apache的一个开源项目，通过使用Log4j工具，我们可以将日志输出并保存到日志文件中，开发或运维人员会基于该日志统计日志级别的数量和占比，或者通过运行日志统计业务数据。

例如统计今天某商品的交易量，示例日志如下：

2020-12-28_21:10:48.081 [http-nio-8083-exec-6] INFO  discounted shoes - num is :9

下面小课将带您了解基于应用运行日志（Log4j格式）分析的详细内容。

1. 在云日志服务管理控制台，单击“日志接入”，进入日志接入页面。
2. 单击右上角“接入日志”，进入选择接入日志类型页面。

   

   
   

3. 在选择接入日志类型页面，选择“主机接入”。

   

   
   

4. 选择日志流
   1. 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。
   2. 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。
   3. 单击“下一步：选择主机组”。

      

   
   

5. 选择主机组
   1. 在主机组列表中选择一个或多个需要采集日志的主机组，若没有所需的主机组，单击列表左上方“新建”，在弹出的新建主机组页面创建新的主机组，具体可参考创建主机组。
      说明：

      主机组可以为空，可以在接入配置设置完成后对主机组进行设置。

      • 在“主机管理 > 主机组”页面对主机组和接入配置进行关联。
      • 在接入配置详情中对主机组和接入配置进行关联。
   2. 单击“下一步：采集配置”。

      

   
   

6. 采集配置
   1. 对主机日志采集设置具体的采集规则，具体可参考采集配置。
   2. 设置完成后单击“提交”，接入成功。

   
   

7. 在日志流详情页面，单击左侧导航栏“配置中心”，选择“结构化配置”，进入日志结构化配置页面，选择“正则分析”提取方式，根据业务需求选择日志，将日志正文拆分成四个部分：Time1/ThreadName/Level/Message，如下图1所示。
   图1 配置正则分析格式日志
   

   
   

8. 在日志流详情页面，单击“可视化”页签，进行SQL查询与分析，如需要多样化呈现查询结果，请参考日志结构化进行配置。
   1. 统计最近7天内错误类型的分布，具体SQL查询分析语句如下所示：

       SELECT Level, count(*) as Number group by Level

      图2 错误类型分布
      
   2. 统计近5分钟内运行中的线程，具体SQL查询分析语句如下所示，输入查询语句并将时间选择为“近5分钟”。

      SELECT distinct(ThreadName)

      图3 运行线程分布
      
   3. 统计某型号商品的总交易量，具体SQL查询分析语句如下所示：

      SELECT sum(cast(regexp_extract(Message, 'num is\s:(?<Total>[\d]+)', 1) as double)) as Total WHERE Message like '%shoes%'

      以现有日志进行模糊查询，查询结果如图所示。

      图4 查询交易总量