五十一、Kafka组件部署（MINI版）

前景连接：

Hadoop HA部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501Spark组件部署（MINI版）https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501

环境准备：

kafka_2.11-1.0.0.tgz

        注：提取码均为:0000

环境部署：

一、需安装 Zookeeper 组件具体要求同 Zookeeper 任务要求，并与 Kafka 环境适配，启动 Zookeeper 并截图保存结果

        1、启动三台机器zookeeper

bin/zkServer.sh start
 

二、解压 Kafka 安装包到“/usr/local/src”路径，并修改解压后文件夹名为 kafka，截图并保存结果

        1、进入/h3cu目录找到kafka

cd /h3cu
 

         2、解压kafka

tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src
 

        3、重命名kafka

mv kafka_2.11-1.0.0 kafka
 

三、设置 Kafka 环境变量，并使环境变量只对当前 root 用户生效，截图并保存结果 

        1、添加环境变量

vi /root/.bashrc
 

        2、使环境变量立即生效 

source /root/.bashrc
 

四、修改 Kafka 相应文件，截图并保存结果

        1、进入kafka/config目录下

cd /usr/local/src/kafka/config
 

        2、修改 server.properties文件 

vi server.properties
 

                A、修改zookeeper.connect，修改log.dirs，最后加入两行

更改前：

更改后：

更改前：

更改后：

 最后加入：

       host.name=master1-1
       delete.topic.enable=true
   
  

        3、创建logs目录

mkdir logs
  

        注：由于kafka安装目录下默认没有logs目录，故在 kafka/ 下创建logs目录

        4、集群分发

scp -r /usr/local/src/kafka slave1-1:/usr/local/src/
 

scp -r /usr/local/src/kafka slave1-2:/usr/local/src/
 

        5、分别修改slave1和slave2的server.properties文件

slave1-1节点：

       broker.id=1
       host.name=slave1-1
   
  

slave1-2节点：

       broker.id=2
       host.name=slave1-2
   
  

五、启动 Kafka 并保存命令输出结果，截图并保存结果

进入kafka安装目录

        1、启动kafka

 bin/kafka-server-start.sh -daemon ./config/server.properties  &

  

        注：启动kafka之前确保zookeeper已经启动，三台机器全部启动

六、创建指定 topic，并截图并保存结果

        1、在master上创建topic-test

./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test

 

七、查看所有的 topic 信息，并截图并保存结果

        1、查看所有topic信息

./bin/kafka-topics.sh --list --zookeeper localhost:2181
 

八、启动指定生产者（producer），并截图并保存结果 

        1、在master上启动生产者

./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test
  

九、启动消费者（consumer），并截图并保存结果

        1、在slave启动消费者

./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test
  

十、测试生产者（producer），并截图并保存结果

        注：在生产者随便输入一些内容 

十一、测试消费者（consumer），并截图并保存结果

        注：消费者将会自动打印生产者输入的内容

Kafka组件部署（MINI版）完成

不能打败你的必将使你愈发强大！

文章来源: tuomasi.blog.csdn.net，作者：托马斯-酷涛，版权归原作者所有，如需转载，请联系作者。

原文链接：tuomasi.blog.csdn.net/article/details/121647743