- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

Kafka-Manager编译&安装&启动

那人好像一条狗~ 发表于 2020/05/08 14:40:47 2020/05/08

【摘要】 Kafka-Manager是由Yahoo公司开源的一款基于Web的Kafka管理工具，可以对Kafka集群中的Broker、Topic、Partition、Consumer等进行监控查看和管理。

Kafka-Manager是由Yahoo公司开源的一款基于Web的Kafka管理工具，可以对Kafka集群中的Broker、Topic、Partition、Consumer等进行监控查看和管理。

1 获取Kafka-Manager编译包

Kafka-Manager的官网上只提供了源码包，并没有提供编译包，因此获取Kafka-Manager编译包有两种途径：

（1）直接从网上获取其他人自己编译好的Kafka-Manager编译包；

（2）从官网下载Kafka-Manager源码包，然后自己手动编译。

1.1 直接获取已有Kafka-Manager编译包

由于Kafka-Manager是利用SBT进行编译构建的，这个过程由于网络等限制比较麻烦和耗时。可以直接从网上获取别人已经编译好的Kafka-Manager包，这样就直接省去了1.2整个章节中的工作。

Kafka-Manager编译包可以直接从下面这个链接获取：

http://blog.wolfogre.com/posts/kafka-manager-download/

下载完成后，直接到本文中的《2 Kafka-Manager部署运行部分》

1.2 利用源码手动编译

Kafka-Manager的编译打包是基于SBT的，因此在编译Kafka-Manager要先预先准备以及Java JDK与SBT。

1.2.1 配置Java JDK

这里要求JDK的版本为JDK 1.8。具体的JDK的安装与配置，比较常见，这里就不赘述。

1.2.2 安装SBT

到SBT官网：http://www.scala-sbt.org/download.html 下载SBT压缩包。将下载的SBT压缩包进行解压并配置SBT环境变量。【目前先讨论下Windows环境下的编译】。

本文主要是针对Windows操作系统下的SBT的安装，至于Linux操作系统下SBT的安装可自行搜索安装。

1. Windows环境：

假设解压的SBT放在D:\sbt目录。

添加SBT_HOME环境变量，

    SBT_HOME ="D:\sbt"

并在Path中追加

    ;%SBT_HOME%\bin;

然后通过在命令行窗口中输入sbt，如果sbt被识别则说明已经安装配置成功。

1.2.3 配置SBT

由于在利用SBT工具编译项目时，需要下载很多SBT工程编译时依赖的jar包等资源，由于SBT默认的资源都是在国外，由于网络原因可以会很慢甚至无法连接，所以为了能更快速地下载这些资源，可以对SBT进行一些配置。

1、先配置SBT的本地资源存放目录，以便在下载一次后可以为之后的编译使用。

打开“SBT安装目录:\conf\sbtconfig.txt”文件，在文件最后追加

-Dsbt.boot.directory=D:/boot/
-Dsbt.global.base=D:/.sbt
-Dsbt.ivy.home=D:/.ivy2

2、在“SBT安装目录:\conf\”目录下，新建文件repo.properties文件，将以下内容复制到文件中。

[repositories] 
  local
  store_1:http://repo.typesafe.com/typesafe/ivy-releases/
  store_2:http://repo2.maven.org/maven2/
  typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly 
  typesafe2: http://repo.typesafe.com/typesafe/releases/
  sbt-plugin: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/
  sonatype: http://oss.sonatype.org/content/repositories/snapshots 
  uk_maven: http://uk.maven.org/maven2/ 
  ibibli: http://mirrors.ibiblio.org/maven2/ 
  repo2: http://repo2.maven.org/maven2/
  aliyun: http://maven.aliyun.com/nexus/content/groups/public
  comp-maven:http://mvnrepository.com/artifact/
  store_cn:http://maven.oschina.net/content/groups/public/
  store_mir:http://mirrors.ibiblio.org/maven2/
  store_0:http://maven.net.cn/content/groups/public/
 
  sbt-releases-repo: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  sbt-plugins-repo: http://repo.scala-sbt.org/scalasbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  maven-central: http://repo1.maven.org/maven2/

3、打开“SBT安装目录:\conf\sbtconfig.txt”文件，在文件最后追加：

-Dsbt.repository.config= SBT安装目录:/conf/repo.properties

4、如果依旧有一些repo无法访问，可以考虑为SBT设置代理，由于走HTTPS时，由于证书问题，还是走HTTP较好。

打开“SBT安装目录:\conf\sbtconfig.txt”文件，在文件最后追加

-Dsbt.repository.secure=false #配置项告知SBT使用HTTP而非HTTPS来更新和下载artifacts
-Dhttp.proxyHost= proxy host
-Dhttp.proxyPort= proxy port
-Dhttp.proxyUser=用户名
-Dhttp.proxyPassword=密码

1.2.4 利用SBT编译Kafka-Manager

1、下载Kafka-Manager工程

到https://github.com/yahoo/kafka-manager界面上直接下载Kafka-Manager工程。

2、将步骤1中下载的kafka-manager-master.zip文件进行解压，并进入kafka-manager-master目录，如：D:\kafka-manager-master。

cd D:\kafka-manager-master
sbt clean dist

该步骤由于需要下载很多的jar包等资源文件，比较耗时，需要耐心等待。

如果最后出现如下输出，则说明Kafka-manager编译成功。

3、到D:\kafka-manager-master\target\universal目录中找到编译好的kafka-manager包即kafka-manager-1.3.3.15.zip。

2 Kafka-Manager部署运行

由于当前MRS集群中根据是否开启了Kerberos认证分成非安全集群和安全集群两种模式。

2.1 非安全模式Kafka集群（未开启Kerberos认证）

2.1.1 修改Kafka JMX监控的相关配置

由于当前集群中在安装配置Kafka的监控时，默认的只允许Kafka服务所在的本节点访问当前节点的JMX服务；这样导致运行在其他节点上的Kafka-Manager无法访问JMX服务，从而无法获取相关的监控信息。

1、到Manager的管理界面上，修改Kafka服务的服务配置，如下图所示：

将KAFKA_JMX_IP配置项修改为${BROKER_IP}

然后再保存配置，重启Kafka服务，以便让修改的配置生效。

2.1.2 修改Kafka-Manager中关于访问JMX服务的配置

由于当前集群中的Kafka服务在开启JMX服务时，JMX服务的访问地址的后缀为kafka，Kafka-Manager中的访问JMX服务的地址的后缀为jmxrmi，因此需要修改Kafka-Manager中的访问地址的后缀。

修改kafka-manager-master/app/kafka/manager/jmx/KafkaJMX.scala中的doWithConnection方法中的urlString，即第36行【限Kafka-Manager 2.11-1.3.3.15版本】。

原UrlString：

val urlString = s"service:jmx:rmi:///jndi/rmi://$jmxHost:$jmxPort/jmxrmi"

修改为：

val urlString = s"service:jmx:rmi:///jndi/rmi://$jmxHost:$jmxPort/kafka"

2.1.3 将前面编译生成的kafka-manager-1.3.3.15.zip包进行解压，比如存放在/opt目录下

2.1.4 修改Kafka-Manager的配置

1、修改Kafka-Manager中关于Kafka集群对应的Zookeeper集群的配置以及与consumer相关的配置：

cd /opt/kafka-manager-1.3.3.15
vi conf/application.conf
kafka-manager.zkhosts="IP1:24002"
vi conf/application.conf
kafka-manager.consumer.properties.file=consumer.properties 
#该consumer.properties在kafka-manager-1.3.3.15/conf目录中

2、修改/opt/kafka-manager-1.3.3.15/conf/consumer.properties文件：

cd /opt/kafka-manager-1.3.3.15
vi /conf/consumer.properties #将consumer.properties文件的内容修改如下。
security.protocol=PLAINTEXT

3、修改Kafka-Manager相关日志文件的存放路径

cd /opt/kafka-manager-1.3.3.15

修改conf/logback.xml和conf/logger.xml文件

将<file></file>和<fileNamePattern></fileNamePattern>两个地方修改为你期望的日志存放路径。

2.1.5 启动Kafka-Manager

cd /opt/kafka-manager-1.3.3.15

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

在浏览器中输入IP1:9000，若出现以下界面则说明Kafka-Manager启动成功。

2.2 安全模式Kafka集群（开启Kerberos认证）

对于开启Kerberos认证的集群中的Kafka来说，现阶段的Kafka-Manager【Kafka-Manager 2.11-1.3.3.15版本】无法管理Consumer和Offsets。

2.2.1 修改Kafka JMX监控的相关配置

1、到Manager的管理界面上，修改Kafka服务的服务配置，如下图所示：

将KAFKA_JMX_IP配置项修改为${BROKER_IP}

然后再保存配置，重启Kafka服务，以便让修改的配置生效。

2.2.2 修改Kafka-Manager中关于访问JMX服务的配置

修改kafka-manager-master/app/kafka/manager/jmx/KafkaJMX.scala中的doWithConnection方法中的urlString，即第36行【限Kafka-Manager 2.11-1.3.3.15版本】。

原UrlString：

val urlString = s"service:jmx:rmi:///jndi/rmi://$jmxHost:$jmxPort/jmxrmi"

修改为：

val urlString = s"service:jmx:rmi:///jndi/rmi://$jmxHost:$jmxPort/kafka"

2.2.3 将前面编译生成的kafka-manager-1.3.3.15.zip包进行解压，比如存放在/opt目录下

2.2.4 修改Kafka-Manager的配置

1、修改Kafka-Manager中关于Kafka集群对应的Zookeeper集群的配置以及与consumer相关的配置：

cd /opt/kafka-manager-1.3.3.15
vi conf/application.conf
kafka-manager.zkhosts="IP1:24002"
vi conf/application.conf
kafka-manager.consumer.properties.file=consumer.properties 
#该consumer.properties在kafka-manager-1.3.3.15/conf目录中

2、修改/opt/kafka-manager-1.3.3.15/conf/consumer.properties文件：

cd /opt/kafka-manager-1.3.3.15
vi /conf/consumer.properties #将consumer.properties文件的内容修改如下。
security.protocol=SASL_PLAINTEXT

3、修改Kafka-Manager相关日志文件的存放路径

cd /opt/kafka-manager-1.3.3.15

修改conf/logback.xml和conf/logger.xml文件

将<file></file>和<fileNamePattern></fileNamePattern>两个地方修改为你期望的日志存放路径。

2.2.5 准备Kerberos安全认证相关配置

1、将集群中安装的Kafka服务相关的Kerberos认证的配置文件（主要包含jaas.conf、kafka.keytab）拷贝到Kafka-Manager的conf目录下：

cd /opt/kafka-manager-1.3.3.15
cp 集群的安装目录/etc/1_11_Broker/jaas.conf  conf/
cp 集群的安装目录/etc/1_11_Broker/kafka.keytab conf/

2、修改jaas.conf文件中指定的kafka.keytab文件的路径：

keyTab="/opt/kafka-manager-1.3.3.15/conf/kafka.keytab"

3、在jaas.conf文件添加KafkaClient项

KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/opt/kafka-manager-1.3.3.15/conf/kafka.keytab"
storeKey=true
useTicketCache=false
serviceName="kafka"
principal="kafka/hadoop.hadoop.com@HADOOP.COM";
};

2.2.6 替换Zookeeper的jar包

由于公司内部对于Zookeeper服务的修改，使得Zookeeper服务在Kerberos上注册的身份为zookeeper/hadoop.hadoop.com@HADOOP.COM，而开源的Zookeeper服务在Kerberos注册的身份为zookeeper/${HOSTNAME}@HADOOP.COM，这样会导致Kerberos查找Zookeeper服务时查找不到。因此需要用公司的包去替换Kafka-Manager中使用的Zookeeper包。

比如当前集群中Kafka服务使用的zookeeper jar包版本为a.b.c

当前Kafka-Manager中使用的zookeeper jar包版本为x.y.z

cp 集群中Kafka的安装目录/kafka/libs/zookeeper- a.b.c.jar /opt/kafka-manager-1.3.3.15/libs/
cd /opt/kafka-manager-1.3.3.15/libs

2.2.7 启动Kafka-Manager

cd /opt/kafka-manager-1.3.3.15
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000

在浏览器中输入IP1:9000，若出现以下界面则说明Kafka-Manager启动成功。

点赞
收藏
关注作者

0/1000

抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认取消

加入云驻计划，成为创作者

华为云周边好礼
免费体验产品
特殊身份标识
线下官方门票
内部专家零距离
与10000+优质创作者共同成长

立即加入