Flume 环境安装部署

Flume NG部署

下面开始安装部署 Flume NG，这里我将Flume安装到dwq002节点上，以Spool directory source+File Channel+HDFS Sink为应用场景详细讲解，大家也可以尝试其它应用场景。

1、下载flume安装包。

apache-flume-1.6.0-bin.tar.gz安装包解压到dwq12节点上的/usr/java/目录下。

[root@dwq12 java]$ tar -zxvf apache-flume-1.6.0-bin.tar.gz //解压

[root@dwq12 java]$ rm apache-flume-1.6.0-bin.tar.gz //删除安装文件

[root@dwq12 java]$ mv apache-flume-1.6.0-bin flume //修改文件名称

[root@dwq12 java]$ chown -R hadoop:hadoop flume //将flume授权给hadoop用户

2、切换到hadoop用户操作，进入flume/conf目录。

[root@dwq12 java]$ su hadoop

[hadoop@dwq12 java]$ cd flume/conf

[hadoop@dwq12 conf]$ ls

flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties

需要通过flume-conf.properties.template复制一个flume-conf.properties配置文件。

[hadoop@dwq12 conf]$ cp flume-conf.properties.template flume-conf.properties

[hadoop@dwq12 conf]$ ls

flume-conf.properties flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties

修改dwq12节点上的flume-conf.properties配置文件。这里将日志采集到hdfs文件系统。配置参数的详细说明可以参考官方文档。

如果大家Hadoop已经安装Snappy压缩，那么flume采集数据的时候可以启动压缩。

agent1.sinks.hdfs-sink1.hdfs.codeC = snappy

如果没有安装Snappy，可以把上面的命令注释掉，后面课程会详细讲解。

3、首先要确保 Hadoop 集群正常运行。

4、在dwq12节点上启动flume。

[hadoop@dwq12 flume]$bin/flume-ng agent -n agent1  -f conf/flume-conf.properties

需要注意的是：-n 指定agent的名称;-f 后跟具体的配置文件。

5、随便在本地找一个文件（比如tv.txt）上传至监控目录/home/hadoop/tvdata，此时可以看到控制台打印有flume采集数据的日志信息。

6、在HDFS web界面查看flume采集过来的数据，如果看到我们采集的数据，说明flume采集数据成功。

http://dwq12:50070/dfshealth.html#tab-overview

至此一个flume的应用场景已经分析完毕，大家可以根据需求完成其他实现方式，详细配置可以查看flume官方文档。