window下搭建kafka运行环境

背景

Kafka作为流式处理的消息中间件，应用场景极其广泛。那么在使用过程中，遇到不明所以的报错信息，无法很好的定位问题根因。此时，若本地有一个套kafka的运行环境，就可以进行本地代码调试。一方面，能够快速定位问题根因；另一方面，通过调试kafka源码，可以很好地熟悉kafka代码背后的原理。因此，一套本地kafka运行环境对kafka运维人员是必不可少的。

搭建流程

搭建步骤

软件版本：jdk1.8.x

scala：2.11.12

gradle：3.1

zookeeper：3.5.1

kafka：1.1.0

环境：windows单机，一个zookeeper实例，一个kafka实例

一、      安装前准备

1.    安装jdk

去JDK官网下载jdk，然后在window上安装，此处略。

2.    安装scala

从Scala官网地址http://www.scala-lang.org/download/下载Scala的windows安装包，验证：

3.    安装gradle

从gradle官网https://gradle.org/releases/下载gradle安装包，如下图所示

安装完毕后，验证：

二、      安装启动zookeeper

1.    下载安装包

此处直接去官网下载，使用的是 zookeeper-3.5.1-alpha，解压后zookeeper家目录记为{zookeeperHome}变量

2.    修改配置

a)         打开{zookeeperHome}\conf，复制zoo_sample.cfg重命名成zoo.cfg

b)         编辑zoo.cfg，修改dataDir为【dataDir=/zookeeper-3.5.2-alpha/data】，样例如下

同时，在dataDir目录下新建myid文件，传入一个整数值

c)         添加环境变量

   ZOOKEEPER_HOME          {zookeeperHome}

   Path 在现有的值后面添加     ;%ZOOKEEPER_HOME%\bin;

3.    启动zookeeper

打开cmd，切换到bin目录下，执行（该cmd窗口不能关闭）

zkServer.cmd

若显示 JAVA_HOME is incorrectly set,则 {zookeeperHome}\bin目录下的zkEnv.cmd中第一行添加

set JAVA_HOME="C:\Program Files\Java\jdk1.8.0_131"

三、      安装启动kafka

1.    下载安装包

下载源码包（去kafka官网下载）

在build.gradle中增加国内maven库

2.    修改配置

a)         解压后，执行：

b)   修改server.properties

修改log.dirs为本地目录地址

3.    启动kafka

方式一：idea上调试

方式二：cmd启动

i.      打开cmd，切换到kafka家目录
C:\kafka-1.1.1-src>

ii.      输入gradle命令，执行
C:\kafka-1.1.1-src>gradle

iii.      执行完成后，执行以下命令
C:\kafka-1.1.1-src>gradlew jar

iv.      启动kafka
C:\kafka-1.1.1-src>.\bin\windows\kafka-server-start.bat .\config\server.properties

附录

安装过程采坑指南：

1，直接点击运行，可能出现问题：java.lang.NoClassDefFoundError: org/apache/log4j/or/RendererMap

添加slf4j.jar和log4j.jar添加到classpath：