【养成记2】fluentd-1.7.3华为鲲鹏云最佳实践方案

一、 软件介绍

fluentd是一款开源的日志收集工具。它拥有非常多的插件，可以满足的我们对各种格式的日志进行收集，过滤，解析等。把日志信息变成我们想要的格式。并且，没有找到满足我们的插件，我们可以自己写插件。

fluentd收集日志时，将所有日志看做JSON格式的数据。并且用正则表达式去匹配日志。fluentd自带丰富的日志收集格式。以及可以将日志收集到各种存储的数据库。fluentd有7种类型的插件:输入、解析器、过滤器、输出、格式化程序、存储和缓冲区。

fluentd是ruby和C语言写的。

二、 支持的操作系统

经过华为云严格实测，以下操作系统在鲲鹏生态中可以完整运行Varnish的全部功能：

     CentOS7.6

三、 支持版本和获取方式

下载地址：https://www.fluentd.org/download

https://docs.fluentd.org/installation/install-by-rpm

四、 编译与测试环境

本文选用华为鲲鹏云服务器ECS KC1实例做测试，KC1实例的处理器为兼容ARMv8指令集的鲲鹏920。详细规格如下：

五、 编译安装与测试

1 依赖安装

1) Fluentd是用ruby语言写的日志收集工具。因此需要ruby环境，安装ruby默认是2.0版本的，需要升级版本。

yum install ruby

2) ruby -v  查看ruby版本，返回如下

3) 添加ruby仓库：

gem sources -a 
http://mirrors.aliyun.com/rubygems/

4) 安装RVM

RVM（Ruby Version Manager ）是一款RVM的命令行工具，可以使用RVM轻松安装，管理Ruby版本。RVM包含了Ruby的版本管理和Gem库管理(gemset)

gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB 
curl -sSL https://get.rvm.io | bash -s stable

5) 配置使其生效

source /etc/profile.d/rvm.sh

6) 查看RVM版本信息

rvm -v

7) 安装Ruby

rvm install 2.5

8) 验证

ruby -v

9) 注意

如果使用rvm安装发现下载缓慢，可以考虑删除原来的仓库地址，只保留阿里云镜像。

gem sources --remove 
https://rubygems.org/

10) 安装编译环境和软件包

yum install gcc-c++ make automake autoconf libtool openssl-devel jemalloc-devel gmp-devel -y

2 编译安装

1) 安装Fluentd：

gem install fluentd --no-document

2) 安装fluentd插件

gem install fluent-plugin-kafka 
gem install fluent-plugin-elasticsearch

3) 初始化Fluentd

fluentd --setup /etc/fluentd

4) 启动

fluentd -c /etc/fluentd/fluent.conf

3 验证测试

1) 启动fluentd之后，出现如下图：

4 问题总结

    无