Kafka集群环境搭建及基本使用

举报
王二蛋! 发表于 2024/01/25 21:03:56 2024/01/25
【摘要】 前提条件操作系统:CentOS7服务器:3台Java环境:JDK1.8。安装教程参考JDK1.8安装Zookeeper环境 搭建教程参考Zookeeper集群环境搭建及使用Kafka基础知识参考Kafka角色及功能概览 搭建步骤 下载执行下载命令wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz执行命令...

前提条件

搭建步骤

下载

  1. 执行下载命令wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz
    在这里插入图片描述
  2. 执行命令mv kafka_2.13-2.8.0.tgz /usr/local 将文件移动至/usr/local目录下

解压

  1. 进入所在文件目录cd /usr/local
  2. 执行tar -zxvf kafka_2.13-2.8.0.tgz 进行解压
    在这里插入图片描述

集群配置

vim /usr/local/kafka_2.13-2.8.0/config/server.properties 修改server.properties文件中以下配置项:

#3台服务器的id分别为0,1,2
broker.id=0
# 地址后面/kafka是在建立zookeeper时创建的根目录,kafka相关的数据在此目录保存
zookeeper.connect=192.168.2.187:2181,192.168.1.228:2181,192.168.1.236:2181/kafka
# 192.168.2.187为本机ip
listeners=PLAINTEXT://192.168.2.187:9092

启动Kakfa

  1. 进入bin目录/usr/local/kafka_2.13-2.8.0/bin/
  2. 执行启动命令./kafka-server-start.sh ../config/server.properties,启动成功后如下图
    在这里插入图片描述

验证

  1. 通过zookeeper查看brokers,如下图id为0,1,2,三个节点成功启动
    在这里插入图片描述
  2. 查看broker的controller,如下图,id为1当选controller
    在这里插入图片描述

基本使用

topic创建

./kafka-topics.sh  --zookeeper 192.168.2.187:2181,192.168.1.228:2181,192.168.1.236:2181/kafka --create --topic testtopic --partitions 3 --replication-factor 3

``

生产消息

  1. 执行命令进入生产消息控制台
./kafka-console-producer.sh --bootstrap-server 192.168.2.187:9092,192.168.1.228:9092,192.168.1.236:9092 --topic testtopic
  1. 键盘输入消息
    在这里插入图片描述

消费消息

  1. 执行命令进入消费消息控制台
./kafka-console-consumer.sh --bootstrap-server 192.168.2.187:9092,192.168.1.228:9092,192.168.1.236:9092 --topic testtopic --group test_group
  1. 如下图为接收到的消息
    在这里插入图片描述

查看消费情况

./kafka-consumer-groups.sh --bootstrap-server 192.168.2.187:9092,192.168.1.228:9092,192.168.1.236:9092 --all-groups --all-topics --describe

在这里插入图片描述

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。