1、简介
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
2、基础环境
类别 |
子项 |
版本 |
获取地址(方法) |
|
华为云
|
虚拟机 |
KC1（920） |
-- |
OS |
CentOS |
7.6 |
|
Kernel |
4.14 |
||
软件包 |
jdk |
1.8.0 |
|
kafka |
2.12 |
https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz |
3、依赖安装
Kafka依赖zookeeper，安装zookeeper参考以下文档：
《华为云鲲鹏云服务最佳实践Zookeeper-安装配置指南》
安装jdk-1.8.0
yum install -y java-1.8.0-openjdk.aarch64 |
4、组件安装
获取kafka二进制包
|
cd /opt/software/ wget https://archive.apache.org/dist/kafka/1.0.0/kafka_2.12-1.0.0.tgz |
安装
|
tar -xvf kafka_2.12-1.0.0.tgz mv kafka_2.12-1.0.0 /opt/app/kafka cd /opt/app/kafka/ mkdir data |
5、系统配置
修改配置文件
|
vim config/server.properties 修改内容如下： broker.id=0 #broker.id的值与zookeeper的myid相对应。 listeners=PLAINTEXT://hadoop01:9092 #该值与安装主机的主机名，当前主机名为hadoop01 advertised.listeners=PLAINTEXT://hadoop01:9092 #同上 log.dirs=/opt/app/kafka/data #指定存放日志的路径 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:2181 #这里指定运作zookeeper的主机 |
修改环境变量
|
vim /etc/profile #kafka export PATH=/opt/app/kafka/bin:$PATH source /etc/profile |
从机配置
|
使用scp命令，将配置好的kafka发送到其他从节点上去 scp -r /opt/app/kafka hadoop02:/opt/app/kafka scp -r /opt/app/kafka hadoop03:/opt/app/kafka scp -r /opt/app/kafka hadoop04:/opt/app/kafka scp -r /opt/app/kafka hadoop05:/opt/app/kafka 注意： 每个从机修改server.properties，以及修改环境变量 vi /opt/app/kafka/config/server.properties
|
6、测试
通过命令启动kafka
#注意启动kafka前启动zookeeper
|
zkServer.sh start kafka-server-start.sh -daemon /opt/app/kafka/server.properties 通过命令验证kafka是否启动 jps #出现以下标黄信息表示启动成功
|
7、参考信息
无
8、FQA
无
华为云鲲鹏云服务最佳实践kafka-2.12集群安装配置指南 .pdf
235.21 KB，下载次数：0
预览
