四十二、centos安装kafka，集群模式（生产者消费者部署测试）

环境准备：

centos 7

zookeeper正常运行

kafka_2.11-1.0.0.tgz

环境搭建：

一、安装：

        1、免费下载：

kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载kafka_2.11-1.0.0.tgz.zip提示：先解压再使用，最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/m0_54925305/37705799

        2、解压：

tar -zxvf kafka_2.11-1.0.0.tgz -C /home/

 

        3、重命名：

mv kafka_2.11-1.0.0/ kafka

 

二、修改配置文件

        1、修改 server.properties文件：

vim server.properties 
 

                A、修改zookeeper.connect：

        注：broker.id每台主机上都不一样，如果第一台为0,后面的机器分别为1,2

                B、修改log.dirs:

                C、最后加入两行：

  

   

    

     

    
    

     

      host.name=master
     
    
   

    

     

    
    

     

      delete.topic.enable=true
     
    
  
 

        注：master这里为对应的节点名

        2、创建logs文件：

                由于第二步改成 kafka/logs，而该路径没有此目录，故kafka/下创建此目录：

mkdir logs
 

        3、分发给slave1和slave2节点：

        4、分别修改slave1和slave2的server.properties文件:

                A、修改broker.id和host.name:

  

   

    

     

    
    

     

      slave1节点：
     
    
   

    

     

    
    

     

      broker.id=1
     
    
   

    

     

    
    

     

      host.name=slave1
     
    
   

    

     

    
    

     

      slave2节点：
     
    
   

    

     

    
    

     

      broker.id=2
     
    
   

    

     

    
    

     

      host.name=slave2
     
    
  
 

三、启动zookeeper

                1、进入zookeeper目录：

        注：三张图三台机器，简洁明了

四、启动kafka

        1、进入kafka安装目录：

 bin/kafka-server-start.sh -daemon ./config/server.properties  &

 

        注：三台机器，全部启动，查看节点 

五、测试

        1、在mastr上创建topic-test

./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test

 

         2、在master，slave1，slave2上查看已创建的topic列表 test：

         3、在master上启动生产者：

./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test
 

        4、在slave上启动消费者：

./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test

 

        注：master输入什么，slave节点就会输出什么，生产者与消费者的调度测试结束 

        5、删除主题：

./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test

 

        6、停止kafka集群：

./bin/kafka-server-stop.sh
 

centos安装kafka，集群模式（生产者消费者部署测试）完成

文章来源: tuomasi.blog.csdn.net，作者：托马斯-酷涛，版权归原作者所有，如需转载，请联系作者。

原文链接：tuomasi.blog.csdn.net/article/details/121181238