Kafka命令行使用指南

举报
bigdata张凯翔 发表于 2021/03/26 01:45:36 2021/03/26
【摘要】 创建主题: ./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka 查看主题: ./kafka-topics.sh --list --zookeeper host1:24002/kafka 修改主题: ./ka...

创建主题:
./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka
查看主题:
./kafka-topics.sh --list --zookeeper host1:24002/kafka
修改主题:
./kafka-topics.sh --alter --topic topic_zkx --config max.message.bytes=128000 --zookeeper host1:24002/kafka
查看单个Topic详细信息
./kafka-topics.sh --describe --zookeeper host1:24002/kafka --topic topic_zkx
删除主题:
./kafka-topics.sh --delete --topic topic_zkx --zookeeper host1:24002/kafka
发布消息:(消息往哪个partition写?一次只写一个partition还是同时写多个partition?)
bin/kafka-console-producer.sh --broker-list host1:21007 --topic topic_zkx --producer.config config/producer.properties
1、指定key值的情况:默认hash分区的方式写数据,也支持自定义分区
2、不指定key值的情况:轮流往所有的partition里面发送数据

读取消息:(指定topic而不指定partition的情况下,如何消费数据?)
bin/kafka-console-consumer.sh --topic topic_zkx --bootstrap-server host1:21007 --new-consumer --consumer.config config/consumer.properties
1、如果消费者数量<partition数量,那么消费者会依次消费不同的partition中的数据;
2、如果消费者数量>=partition数量,那么消费者只消费属于自己的partition的数据。

Question:对消费者可见的问题:
实验现象:生产一条,就能消费一条
理论:生产者发布消息追加到最后一个段文件中,并实现leader和follower之间的数据同步,同步完成后,消息公开给消费者。
当发布的消息数量达到设定值或者经过一定时间后,段文件写入磁盘中。

Question3:
Kafka consumer在消费数据的时候如何得知leader的位置信息?
直接询问任意存活的broker。

文章来源: www.jianshu.com,作者:百忍成金的虚竹,版权归原作者所有,如需转载,请联系作者。

原文链接:www.jianshu.com/p/3cef3952c04a

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。