【鲲鹏云移植干货分享05】Kafka 1.1.1安装指导

1      软件介绍

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。

2      预制条件

系统版本：基于Euler2.8环境。

环境依赖：需要GCC（7.3.0），OpenJdk（Jdk8u191-b12），Gradle（4.10），Scala（2.12.0），Zookeeper（3.4.14）

3      配置yum源

# cd /etc/yum.repos.d

# vi EulerOS-Base.repo

输入如下内容并保存退出：

[base2.8]

name=EulerOS-2.0SP8 base

baseurl=http://developer.huawei.com/ict/site-euleros/euleros/repo/yum/2.8/os/aarch64/

enabled=1

gpgcheck=1

gpgkey=http://developer.huawei.com/ict/site-euleros/euleros/repo/yum/2.8/os/aarch64/RPM-GPG-KEY-EulerOS

4      安装依赖软件

4.1      GCC（7.3.0）

Euler2.8的源提供了完整的GCC-7.3.0安装，直接使用指令# yum install gcc gcc-c++在线安装即可。

4.2      OpenJdk（Jdk8u191-b12）

4.2.1        下载地址

官方下载地址：

https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u191-b12/OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz

4.2.2        解压

将tar包上传至/home目录。

# cd /home

# tar -zxvf OpenJDK8U-jdk_aarch64_linux_hotspot_8u191b12.tar.gz

4.2.3        添加环境变量

       export JAVA_HOME=/home/jdk8u191-b12

export PATH=${JAVA_HOME}/bin:$PATH

        export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

4.3      Gradle（4.10）

4.3.1        下载地址

官方下载地址：

https://gradle.org/next-steps/?version=4.10&format=bin

4.3.2        解压

将zip包上传至/home目录。

# cd /home

# unzip -d /home/gradle-4.10-bin.zip

4.3.3        添加环境变量

       export GRADLE_HOME=/home/gradle-4.10

export PATH=$GRADLE_HOME/bin:$PATH

4.4      Scala（2.12.0）

4.4.1        下载地址

官方下载地址：

https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.tgz

4.4.2        解压

将tar包上传至/home目录。

# cd /home

# tar -zxvf scala-2.12.0.tgz

4.4.3        添加环境变量

       export SCALA_HOME=/home/scala-2.12.0

        export PATH=${SCALA_HOME}/bin:$PATH

4.5      Zookeeper（3.4.14）

4.5.1        下载地址

官方下载地址：

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

4.5.2        解压

将tar包上传至/root目录。

# cd /root

# tar -zxvf zookeeper-3.4.14.tar.gz

4.5.3        添加环境变量

      export ZOOKEEPER_HOME=/root/zookeeper-3.4.14

export PATH=$PATH:$ZOOKEEPER_HOME/bin

4.5.4        配置zoo.cfg

# cd zookeeper-3.4.14/conf

将zoo_sample.cfg重命名为zoo.cfg：

# mv zoo_sample.cfg zoo.cfg

创建zk数据存储和zk日志存储目录：

# cd ..

# mkdir /root/zookeeper-3.4.14/zkdata

# mkdir /root/zookeeper-3.4.14/zkdatalog

修改zoo.cfg的文件内容：

dataDir=/root/zookeeper-3.4.14/zkdata

dataLogDir=/root/zookeeper-3.4.14/zkdatalog 

4.5.5        启动Zookeeper

# cd bin

# ./zkServer.sh start

4.5.6        验证

# telnet 127.0.0.1 2181

> stat

5      安装Kafka

5.1      下载源码包

  下载Kafka源码包，安装版本为1.1.1。

官网下载地址：https://archive.apache.org/dist/kafka/1.1.1/kafka-1.1.1-src.tgz

将kafka-1.1.1-src.tgz包通过WinSCP上传至于./root目录。

解压：

# tar -zxvf kafka-1.1.1-src.tgz

# cd kafka-1.1.1-src

5.2      编译安装

# gradle clean

# gradle releaseTarGz --info

（这两步耗时较久，请耐心等待。）

编译后生成如下文件：

# cd core/build/distributions/

5.3      部署启动

5.3.1        解压生成的二进制包

# tar -zxvf kafka_2.11-1.1.1.tgz

5.3.2        配置server.properties

如果已经部署了zookeeper集群则需要配置，如果是单机版则跳过这步，按默认参数配置即可。

此处提供一个例子仅供参考：

假设已经有zookeeper集群在三台服务器上部署成功，分别是192.168.1.91；192.168.1.92；192.168.1.93。

Kafka的配置信息存放在server.properties中。

# cd kafka_2.11-1.1.1

# vi config/server.properties

1、找到下面两行代码并分别注释

# broker.id=0

# zookeeper.connect=localhost:2181

2、在文件底部添加如下三个配置：

broker.id=1

zookeeper.connect=192.168.1.91:2181,192.168.1.92:2181,192.168.1.93:2181

listeners=PLAINTEXT://192.168.1.91:9092

3、解释：

①、broker.id：每台机器不能一样

②、zookeeper.connect：有多少台zookeeper服务器，就在这里zookeeper.connect设置为多少台，且必须全部添加进去

③、listeners：在配置集群的时候，必须设置，不然以后的操作会报找不到leader的错误

④、其他的服务器，zookeeper.connect的配置跟这里的一样，但是broker.id和listeners不能一样

注：更详细的Kafka配置可以参考官网指导：https://kafka.apache.org/documentation/#configuration

5.3.3        启动Kafka

# cd /root/kafka-1.1.1-src/

# bin/zookeeper-server-start.sh config/zookeeper.properties &

# bin/kafka-server-start.sh config/server.properties &

5.3.4        查看进程启动情况

# jps

  如果kafka进程：Kafka、QuorumPeerMain两个进程启动成功，则说明整个Kafka服务启动完成。

大家实际安装遇到任何问题，可以到混合云社区提问：https://bbs.huaweicloud.com/forum/forum-1011-1.html