利用Kafkacat在Kafka集群之间复制数据

使用 Kafkacat 工具可以在 Kafka 集群之间复制数据。Kafkacat 是一个命令行工具，它可以用于生产和消费 Kafka 主题，并支持从一个集群复制数据到另一个集群

Unix管道是一种美妙的工具，因为它们可以将各个组件有机地结合在一起，每个组件都专注于做好自己的事情。kafkacat完全支持管道的概念，这意味着您可以将数据从Kafka主题流式传输出来（使用kafkacat作为消费者），并将数据发送到任何接受标准输入的工具中，您还可以从任何生成标准输出的工具中获取数据，并将其写入Kafka主题（使用kafkacat作为生产者）。

当您将两个kafkacat实例连接在一起，一个用于消费，一个用于生产时，会发生令人愉快的事情：您从一个主题中读取数据并写入另一个主题！

以下是对上述内容的中文翻译和优化：

由于Unix管道的特性，您可以使用kafkacat作为消费者从一个Kafka主题中流式读取数据，并将其传递给任何接受标准输入的工具。同样地，您可以从任何生成标准输出的工具获取数据，并使用kafkacat作为生产者将数据写入Kafka主题。

通过将两个kafkacat实例连接在一起，一个用于消费，一个用于生产，您可以方便地将数据从一个Kafka集群复制到另一个Kafka集群，实现快速且简单的复制过程。这种方法不需要关注复制消费者位移等高级功能，非常适合快速而简单地实现数据复制。

请注意，尽管这种方法快速而简单，但在处理复制过程中的错误和故障恢复时可能需要一些额外的处理。确保在执行复制操作之前，正确配置和管理kafkacat实例，并确保源和目标Kafka集群之间的连接和权限设置正确。

在一个非常简单的层面上，你可以这样做:

kafkacat -b localhost:9092 -C -t source-topic -K: -e -o beginning | \
kafkacat -b localhost:9092 -P -t target-topic -K:

这将会将源主题上的每条消息写入到同一集群上的目标主题中。以下是一些标志：

-K 根据 : 分隔的键来输出/解析

-e 在主题末尾退出

上述命令将运行一次，并在脚本运行时获取源主题的副本。如果重新运行该命令，您将获得另一个完整的数据副本。

那么，如果您希望每次执行后都能恢复消费，或者甚至进行扩展呢？kafkacat 支持消费者组！

以下是对上述内容的翻译和优化：

这将使得每个消息都会从源主题写入到同一集群的目标主题中。一些选项如下：

-K 使用 : 分隔的键来输出/解析

-e 在主题末尾退出

以上命令只会运行一次，并在脚本运行时获取源主题的副本。如果重新运行命令，您将获得另一个完整的数据副本。

那么，如果您希望每次执行后都能恢复消费，或者甚至进行扩展呢？kafkacat 支持消费者组！

kafkacat -b localhost:9092 \
    -X auto.offset.reset=earliest \
    -K: \
    -G cg01 source-topic | \
kafkacat -b localhost:9092 -t target-topic -K: -P

将数据从Confluent Cloud复制到本地Kafka集群
现在让我们将Confluent Cloud添加到这个组合中——或者任何其他安全的Kafka集群。我们在调用中只需要几个额外的参数:

kafkacat -b $CCLOUD_BROKER_HOST \
    -X security.protocol=SASL_SSL -X sasl.mechanisms=PLAIN \
    -X sasl.username="$CCLOUD_API_KEY" -X sasl.password="$CCLOUD_API_SECRET" \
    -X ssl.ca.location=/usr/local/etc/openssl/cert.pem -X api.version.request=true \
    -X auto.offset.reset=earliest \
    -K: \
    -G copy_to_local_00 source-topic | \
kafkacat -b localhost:9092,localhost:19092,localhost:29092 \
    -t target-topic \
    -K: -P

$ kafkacat -b localhost:9092 -t source-topic -o beginning -e -C -c 5
{"batt":97,,"acc":200,"p":98.689468383789062,"bs":1,"vel":0,"vac":93,"t":"u","conn":"w","tst":1569316069,"alt":97,"_type":"location","tid":"FF"}
{"cog":193,"batt":45,"acc":16,"p":100.14543914794922,"bs":1,"vel":0,"vac":3,"conn":"w","tst":1569330854,"tid":"RM","_type":"location","alt":104}
{"batt":97,,"acc":200,"p":98.689468383789062,"bs":1,"vel":0,"vac":93,"t":"u","conn":"w","tst":1569316069,"alt":97,"_type":"location","tid":"FF"}
{"cog":193,"batt":45,"acc":16,"p":100.14543914794922,"bs":1,"vel":0,"vac":3,"conn":"w","tst":1569330854,"tid":"RM","_type":"location","alt":104}
{"batt":97,,"acc":200,"p":98.689468383789062,"bs":1,"vel":0,"vac":93,"t":"u","conn":"w","tst":1569316069,"alt":97,"_type":"location","tid":"FF"}