Kafka监控利器
开发过程中，kafka几乎是标配的Mq，如果有一个kafka的监控助手，哪就更完美了，常用的kafka监控工具有 KafkaOffsetMonitor 、Kafka Manager、Capillary、Kafka Eagle，经过测试，最后决定使用Kafka Manager。这篇文章主要介绍Kafka Manager安装及使用。
硬件环境：
Centos
kafka-manager-1.3.2.1 为了方便我已经分享到百度网盘，点击下载即可 https://pan.baidu.com/s/1J4B_YnSauUbhtTCHA3y11A
kafka单机或者集群的运行实例
一、安装
1. 下载及解压
在Centos建个存放Kafka Manager 的文件夹，我的存放目录中在home下，执行如下命令新建文件夹
1 | mkdir /home/kafka-manager |
然后转到改目录，把点击下载kafka-manager，下载后把压缩包放到新建的目录下，执行解压命令
1 | unzip kafka-manager-1.3.2.1.zip |
可以根据具体环境修改配置文件 ./conf/application.conf，我的配置信息为
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 | # Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0# See accompanying LICENSE file.# This is the main configuration file for the application.# ~~~~~# Secret key# ~~~~~# The secret key is used to secure cryptographics functions.# If you deploy your application to several instances be sure to use the same key!play.crypto.secret="^<csmm5Fx4d=r2HEX8pelM3iBkFVv?k[mc;IZE<_Qoq8EkX_/7@Zt6dP05Pzea3U"play.crypto.secret=${?APPLICATION_SECRET}# The application languages# ~~~~~play.i18n.langs=["en"]play.http.requestHandler = "play.http.DefaultHttpRequestHandler"play.http.context = "/"play.application.loader=loader.KafkaManagerLoaderkafka-manager.zkhosts="localhost:2181"kafka-manager.zkhosts=${?ZK_HOSTS}pinned-dispatcher.type="PinnedDispatcher"pinned-dispatcher.executor="thread-pool-executor"application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]akka { loggers = ["akka.event.slf4j.Slf4jLogger"] loglevel = "INFO"}basicAuthentication.enabled=falsebasicAuthentication.username="admin"basicAuthentication.password="password"basicAuthentication.realm="Kafka-Manager"kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE} |
一般为默认即可，一切就绪就可以执行如下命令启动，
2. 启动
1 | nohup ./bin/kafka-manager -Dconfig.file=./conf/application.conf -Dhttp.port=9111 >kafka-manager.log 2>&1 & |
确认下是否启用，执行如下命令
1 | netstat -an |grep 9111 |
结果显示，显示 9111 端口在监听状态，说明我们的服务已经启动。
在浏览器中查看，输入你的主机名或者ip+端口即可，显示如下，即说明kafka-manager成功安装
二、使用
添加kafka
点击Cluster，选择添加 Add Cluster 选择，根据kafka实例填写即可，主要配置ZK，其它信息，根据业务需要改动。
我的配置信息如下：
2. 查看信息
1) 集群信息
主要显示版本信息、Topics、Brokers，点击Topics数量或者Brokers数量即可进入相应的详情列表
2) Brokers
主要显示Topic的操作及列表，及每个topic的主要信息，点击具体的topic，即可查看详情
3) Topics
显示某个topic的具体信息，非常的详细
4) Consumers
a) 首先我们启动一个消费者，集群中的任何一个实例即可，执行如下命令
1 | ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic ********** |
**********为消费的Topic。
b) 消费启动后，点击Consumers，显示如下
点击消费者，即可查看该消费者的详细信息
主要涉及Partition、Logsize、Consumer Offset
关于kafka-manager就介绍到这里，如果你有更好的监控工具，也拿出来一块分享吧
- 点赞
- 收藏
- 关注作者
评论（0）