Filebeat:使用Redis模块将日志发送到本地Elasticsearch

Beats系列的主要特点是简单，其背后的想法是减少用户的实现和编码时间，同时使数据传输到Elasticsearch或任何其他输出尽可能简单和高效。
Elastic stack通过引入模块响应了这一需求。这些模块是用户可用的可重用扩展，用于管理日志(如MySQL数据库日志)的解析，然后将它们发送到配置的目的地。
模块的基本好处是，它们几乎可以处理所有众所周知的技术，包括虚拟化、网络、消息传递和数据库。此外，社区还提供了自定义扩展，进一步扩展了可用模块库。
现在让我们通过一个示例来看看如何实现所有这些胡言乱语。
在这个例子中，我们将解析来自Redis数据库的日志并将它们发送给Elasticsearch。

我们必须做以下工作:
1.激活一个知道如何管理Redis日志的模块
2.更新我们的Filebeat配置
3.重新启动代理
一旦所有关于日志的信息都在Elasticsearch上，额外的仪表板也应该在Kibana上提供给我们。
在实现本文中解释的配置之后，如果你还没有，我强烈建议你咨询一下，我们将首先激活Redis模块。
通过启动以下命令，您将能够看到可用模块的列表:

./filebeat modules list

如果您看一下Filebeat文件夹结构，您会注意到一个名为modules的文件夹。D，其中有许多预先构建的模块可供您使用。我们要使用的模块位于最底部。找到并打开redis.yml.disabled文件，您将看到没有太多关于如何解析日志的信息，更多的是关于在哪里查找日志文件。这里有两种方法可供我们使用，主日志用于写入磁盘的日志，慢日志用于通过Redis API检索日志。
我们不打算干预解析数据的方式，模块将处理它，这里所要做的就是配置我们的勘探者，也就是说，在var.paths字段中通知日志的访问路径(取决于您的操作系统，这里我们在Windows上工作)，并通过将enabled设置为true来启用模块。

- module: redis
  # Main logs
  log:
    enabled: true
    var.paths: ['C:\Users\elastic\demo\redis-server-1.log']

注意:一个包含由Redis数据库返回的日志的文件被放置在上面提到的位置。您可以根据本文将Redis作为docker容器运行，并从生成的日志中创建该文件。
完成后，我们现在需要在Filebeat上激活该模块。你总是可以手动执行，但最简单和最安全的方法当然是运行以下命令:

./filebeat module enable redis

模块将被激活，并知道在哪里可以找到日志。你会注意到上面修改的文件将其名称更改为redis。让我们再次运行该命令来创建所有的资源和工件:

./filebeat setup

设置完成后，让我们运行Filebeat:

./filebeat -e

在日志中，我们可以看到采集器被实例化了，我们需要的是一行，它将告诉我们一个新的采集器已经为我们的Redis日志实例化了。我们来看看这是不是基巴纳的严重案件。在Dashboard选项卡中，进入搜索栏，输入Redis并打开生成的Dashboard。在表格的最底部，我们的日志出现了。

在将日志发送到本地Elasticsearch之前，可以使用Filebeat的Redis模块来收集和传输日志数据。Filebeat是一个轻量级的日志数据传输工具，可以从多种来源收集日志，并将其发送到不同的目标。Redis作为中间件，可以用作缓冲区，将日志从Filebeat传输到Elasticsearch。

Filebeat的Redis模块允许您配置Redis作为中间队列，以确保高可用性和可靠性。通过将日志数据发送到Redis，可以隔离Filebeat和Elasticsearch之间的连接，以便更好地处理和控制数据流。