[大数据] 【华为云鲲鹏云服务最佳实践】【大数据篇】第013期kafka-2.12集群安装配置指南

1、简介

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据

2、基础环境

类别

子项

版本

获取地址(方法)

华为云

 

虚拟机

KC1(920)

--

OS

CentOS

7.6


Kernel

4.14


软件包

jdk

1.8.0


kafka

2.12

https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz

3、依赖安装

Kafka依赖zookeeper,安装zookeeper参考以下文档:

《华为云鲲鹏云服务最佳实践Zookeeper-安装配置指南》

安装jdk-1.8.0

yum install -y java-1.8.0-openjdk.aarch64

4、组件安装

   获取kafka二进制包

cd /opt/software/

wget https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz

安装

tar -xvf kafka_2.12-1.0.0.tgz

mv kafka_2.12-1.0.0 /opt/app/kafka

cd /opt/app/kafka/

mkdir data

 

5、系统配置

修改配置文件

vim config/server.properties

 修改内容如下:

broker.id=0                              #broker.id的值与zookeepermyid相对应。

listeners=PLAINTEXT://hadoop01:9092     #该值与安装主机的主机名,当前主机名为hadoop01

advertised.listeners=PLAINTEXT://hadoop01:9092         #同上

log.dirs=/opt/app/kafka/data                    #指定存放日志的路径

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:2181                  #这里指定运作zookeeper的主机

修改环境变量

vim /etc/profile

#kafka

export PATH=/opt/app/kafka/bin:$PATH

source /etc/profile

从机配置

使用scp命令,将配置好的kafka发送到其他从节点上去

scp -r /opt/app/kafka hadoop02:/opt/app/kafka

scp -r /opt/app/kafka hadoop03:/opt/app/kafka

scp -r /opt/app/kafka hadoop04:/opt/app/kafka

scp -r /opt/app/kafka hadoop05:/opt/app/kafka

注意: 每个从机修改server.properties,以及修改环境变量

vi /opt/app/kafka/config/server.properties

image.png 

 

6、测试

    通过命令启动kafka

#注意启动kafka前启动zookeeper

zkServer.sh start

kafka-server-start.sh -daemon /opt/app/kafka/server.properties

通过命令验证kafka是否启动

jps

#出现以下标黄信息表示启动成功

image.png 

7、参考信息

  

8、FQA

  


华为云鲲鹏云服务最佳实践kafka-2.12集群安装配置指南 .pdf 235.21 KB,下载次数:0 预览