【详解】基于Kubernetes部署Kafka集群

举报
皮牙子抓饭 发表于 2025/12/17 20:04:37 2025/12/17
【摘要】 基于Kubernetes部署Kafka集群随着云计算和微服务架构的普及，Kubernetes (K8s) 作为容器编排工具已经成为管理云原生应用的标准。Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。本文将介绍如何在 Kubernetes 集群上部署 Apache Kafka，包括环境准备、组件安装以及集群配置等步骤。环境准备Kubernetes 集群确保...

基于Kubernetes部署Kafka集群

随着云计算和微服务架构的普及，Kubernetes (K8s) 作为容器编排工具已经成为管理云原生应用的标准。Apache Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。本文将介绍如何在 Kubernetes 集群上部署 Apache Kafka，包括环境准备、组件安装以及集群配置等步骤。

环境准备

Kubernetes 集群

确保你已经有一个运行中的 Kubernetes 集群，并且能够通过 ​​kubectl​​ 命令行工具进行管理。如果你没有现成的集群，可以使用 Minikube 或者 Kind 在本地快速搭建一个测试环境。

Helm 安装

Helm 是 Kubernetes 的包管理器，它可以帮助我们更方便地安装和管理复杂的 Kubernetes 应用。首先需要安装 Helm：

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

安装完成后，添加 Stable 仓库以获取最新的 Kafka Helm 图表：

helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo update

安装 ZooKeeper

Kafka 需要依赖 ZooKeeper 来管理集群元数据。我们可以使用 Helm 来安装 ZooKeeper：

helm install my-zookeeper bitnami/zookeeper --set replicaCount=3

这里设置了 ​​replicaCount=3​​ 来创建一个高可用的 ZooKeeper 集群。等待安装完成，可以通过以下命令检查状态：

kubectl get pods -l app.kubernetes.io/name=zookeeper

安装 Kafka

当 ZooKeeper 集群准备好后，就可以开始安装 Kafka 了。同样使用 Helm 来简化安装过程：

helm install my-kafka bitnami/kafka --set zookeeper.enabled=false,zookeeper.existingExternalZookeeper=my-zookeeper:2181

在这个命令中，我们指定了不启用内置的 ZooKeeper 并链接到之前安装的外部 ZooKeeper 集群。

配置 Kafka

Kafka 的 Helm 图表提供了丰富的配置选项，可以根据实际需求调整。例如，设置 Kafka 的副本数量、日志保留策略等：

replicaCount: 3
persistence:
  size: 50Gi
  storageClass: "standard"
resources:
  limits:
    cpu: 1000m
    memory: 2048Mi
  requests:
    cpu: 500m
    memory: 1024Mi

将上述内容保存为 ​​values.yaml​​ 文件，然后使用该文件来覆盖默认值：

helm upgrade --install my-kafka bitnami/kafka -f values.yaml --set zookeeper.enabled=false,zookeeper.existingExternalZookeeper=my-zookeeper:2181

测试 Kafka 集群

为了验证 Kafka 集群是否正常工作，可以创建一个简单的生产者和消费者来发送和接收消息。首先，获取 Kafka 的外部 IP 地址：

kubectl get svc my-kafka-external

使用 Kafka 的命令行工具（如 ​​kafka-console-producer.sh​​ 和 ​​kafka-console-consumer.sh​​）连接到这个地址进行测试。如果是在本地开发环境中，可能需要设置端口转发：

kubectl port-forward svc/my-kafka-external 9092:9092

现在你可以从本地机器连接到 Kafka 集群并开始发送和接收消息了。

在Kubernetes上部署Kafka集群可以通过多种方式实现，其中一种常见的方法是使用Helm图表（Helm Chart），这是一种Kubernetes包管理工具，可以简化应用程序的安装和配置过程。下面是一个基于Helm部署Kafka集群的实际应用示例。

1. 安装Helm

首先确保你的环境中已经安装了Helm。如果未安装，可以通过以下命令安装：

# 下载并安装Helm
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh

2. 添加Helm仓库

添加包含Kafka Helm图表的仓库，这里我们使用Bitnami提供的Kafka图表：

helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo update

3. 创建Kafka配置文件

为了更好地控制Kafka集群的配置，可以创建一个自定义的配置文件​​values.yaml​​。这个文件可以用来覆盖默认设置。例如：

## values.yaml
replicaCount: 3 # 集群中的Kafka副本数量
image:
  registry: docker.io
  repository: bitnami/kafka
  tag: 3.2.0
  pullPolicy: IfNotPresent

zookeeper:
  enabled: true
  replicaCount: 3
  image:
    registry: docker.io
    repository: bitnami/zookeeper
    tag: 3.7.0
    pullPolicy: IfNotPresent

persistence:
  enabled: true
  storageClass: "standard"
  size: 50Gi

externalAccess:
  enabled: true
  service:
    type: LoadBalancer
  autoDiscovery:
    enabled: true

4. 使用Helm部署Kafka

有了上述配置文件后，可以使用Helm来部署Kafka集群：

helm install my-kafka-cluster bitnami/kafka -f values.yaml

这条命令会根据​​values.yaml​​中指定的配置，在Kubernetes集群中安装Kafka和Zookeeper服务。

5. 验证部署

部署完成后，可以通过Kubernetes命令行工具​​kubectl​​来验证Kafka和Zookeeper服务是否正常运行：

kubectl get pods
kubectl get svc

这些命令将显示所有Pod和服务的状态，确保它们都处于运行状态。

6. 访问Kafka

如果在​​values.yaml​​中启用了外部访问（如上所示），可以通过Kafka服务的外部IP地址访问Kafka集群。对于云提供商，这通常会自动分配一个公网IP地址。你可以通过以下命令获取这些信息：

kubectl get svc my-kafka-cluster-external

7. 清理

如果你需要删除Kafka集群，可以使用以下命令：

helm uninstall my-kafka-cluster

这将卸载Kafka及其相关资源。

在基于Kubernetes（K8s）部署Apache Kafka集群时，通常会使用Helm图表或Kubernetes的原生资源定义来自动化部署过程。这里，我将详细介绍如何使用Kubernetes原生资源定义（如YAML文件）来部署一个简单的Kafka集群。

1. 前提条件

  • 已经有一个运行中的Kubernetes集群。
  • 安装了​​kubectl​​命令行工具，并且配置好与你的Kubernetes集群通信。
  • 确保Kubernetes集群中有足够的资源来运行Kafka集群。

2. 创建命名空间

首先，为Kafka集群创建一个专门的命名空间，以便更好地组织和管理资源。

# kafka-namespace.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: kafka

使用​​kubectl​​命令创建命名空间：

kubectl apply -f kafka-namespace.yaml

3. 部署Zookeeper

Kafka依赖于Zookeeper来管理集群状态。首先，我们需要部署Zookeeper。

# zookeeper-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: zookeeper
  namespace: kafka
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper
  template:
    metadata:
      labels:
        app: zookeeper
    spec:
      containers:
      - name: zookeeper
        image: wurstmeister/zookeeper:latest
        ports:
        - containerPort: 2181

创建Zookeeper服务，以便Kafka能够通过网络访问它。

# zookeeper-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: zookeeper
  namespace: kafka
spec:
  ports:
  - port: 2181
  selector:
    app: zookeeper

使用​​kubectl​​命令部署Zookeeper：

kubectl apply -f zookeeper-deployment.yaml
kubectl apply -f zookeeper-service.yaml

4. 部署Kafka

接下来，部署Kafka集群。这里我们部署一个包含3个副本的Kafka集群。

# kafka-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kafka
  namespace: kafka
spec:
  replicas: 3
  selector:
    matchLabels:
      app: kafka
  template:
    metadata:
      labels:
        app: kafka
    spec:
      containers:
      - name: kafka
        image: wurstmeister/kafka:latest
        env:
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: "zookeeper:2181"
        - name: KAFKA_ADVERTISED_LISTENERS
          value: "PLAINTEXT://kafka-0.kafka:9092,PLAINTEXT://kafka-1.kafka:9093,PLAINTEXT://kafka-2.kafka:9094"
        - name: KAFKA_BROKER_ID
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR
          value: "3"
        ports:
        - containerPort: 9092

创建Kafka服务，以便外部可以访问Kafka集群。

# kafka-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: kafka
  namespace: kafka
spec:
  ports:
  - port: 9092
  clusterIP: None
  selector:
    app: kafka

使用​​kubectl​​命令部署Kafka：

kubectl apply -f kafka-deployment.yaml
kubectl apply -f kafka-service.yaml

5. 验证部署

部署完成后，可以通过以下命令验证Kafka和Zookeeper是否正常运行：

kubectl get pods -n kafka
kubectl get svc -n kafka

6. 访问Kafka

如果需要从集群外部访问Kafka，可以考虑使用NodePort或LoadBalancer类型的Service，或者设置Ingress规则。

7. 清理

如果需要清理部署的资源，可以使用以下命令：

kubectl delete -f kafka-service.yaml -n kafka
kubectl delete -f kafka-deployment.yaml -n kafka
kubectl delete -f zookeeper-service.yaml -n kafka
kubectl delete -f zookeeper-deployment.yaml -n kafka
kubectl delete namespace kafka

以上步骤提供了一个基本的Kafka集群在Kubernetes上的部署方法。实际生产环境中，可能还需要考虑更多的配置选项，如持久化存储、安全性配置等。

【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Kafka Kubernetes
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入