Kafka命令行使用指南
创建主题:
./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka
查看主题:
./kafka-topics.sh --list --zookeeper host1:24002/kafka
修改主题:
./kafka-topics.sh --alter --topic topic_zkx --config max.message.bytes=128000 --zookeeper host1:24002/kafka
查看单个Topic详细信息
./kafka-topics.sh --describe --zookeeper host1:24002/kafka --topic topic_zkx
删除主题:
./kafka-topics.sh --delete --topic topic_zkx --zookeeper host1:24002/kafka
发布消息:(消息往哪个partition写?一次只写一个partition还是同时写多个partition?)
bin/kafka-console-producer.sh --broker-list host1:21007 --topic topic_zkx --producer.config config/producer.properties
1、指定key值的情况:默认hash分区的方式写数据,也支持自定义分区
2、不指定key值的情况:轮流往所有的partition里面发送数据
读取消息:(指定topic而不指定partition的情况下,如何消费数据?)
bin/kafka-console-consumer.sh --topic topic_zkx --bootstrap-server host1:21007 --new-consumer --consumer.config config/consumer.properties
1、如果消费者数量<partition数量,那么消费者会依次消费不同的partition中的数据;
2、如果消费者数量>=partition数量,那么消费者只消费属于自己的partition的数据。
Question:对消费者可见的问题:
实验现象:生产一条,就能消费一条
理论:生产者发布消息追加到最后一个段文件中,并实现leader和follower之间的数据同步,同步完成后,消息公开给消费者。
当发布的消息数量达到设定值或者经过一定时间后,段文件写入磁盘中。
Question3:
Kafka consumer在消费数据的时候如何得知leader的位置信息?
直接询问任意存活的broker。
文章来源: www.jianshu.com,作者:百忍成金的虚竹,版权归原作者所有,如需转载,请联系作者。
原文链接:www.jianshu.com/p/3cef3952c04a
- 点赞
- 收藏
- 关注作者
评论(0)