AutoMQ 生态集成 Tigris

举报
AutoMQ 发表于 2024/06/06 15:42:55 2024/06/06
【摘要】 前言Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。你可以将 Tigris 用于多种场景，例如：实时应用程序的存储网页内容与媒体（图片、视频等）物联网（IoT）应用程序的存储数据分析、大数据及批处理机器学习模型和数据集的存储备份与归...

前言

Tigris[1]是一个全球分布式的兼容 S3 的对象存储服务，它允许你存储和访问任意数量的数据，具有广泛的使用场景。Tigris 会自动且智能地将数据分布到靠近用户的位置，让用户无需担心数据复制和缓存复杂性。
你可以将 Tigris 用于多种场景，例如：
  • 实时应用程序的存储
  • 网页内容与媒体（图片、视频等）
  • 物联网（IoT）应用程序的存储
  • 数据分析、大数据及批处理
  • 机器学习模型和数据集的存储
  • 备份与归档
Tigris 兼容 S3 API。这意味着你可以在 Tigris 中使用标准的 S3 SDK、工具和库。本文将指导你如何将 AutoMQ[3] 集群部署在你私有数据中心的 Tigris 之上。

前置条件

  • 一个可以正常使用的 Tigris 环境。如果你还没有可用的 Tigris 环境，可以参考其官方文档[8]获取。
  • 准备 5 台主机用于部署 AutoMQ 集群。建议选择 2 核 16GB 内存的 Linux amd64 主机，并准备两个虚拟存储卷。示例如下：
角色
IP
Node ID
系统卷
数据卷
CONTROLLER
192.168.0.1
0
EBS 20GB
EBS 20GB
CONTROLLER
192.168.0.2
1
EBS 20GB
EBS 20GB
CONTROLLER
192.168.0.3
2
EBS 20GB
EBS 20GB
BROKER
192.168.0.4
3
EBS 20GB
EBS 20GB
BROKER
192.168.0.5
4
EBS 20GB
EBS 20GB
Tips:
  • 请确保机器之间可以互相通信。建议在购买计算资源时指定与本示例相同的网段和 IP 地址，这样可以方便直接复制操作命令。
  • 非生产环境可以只部署一台 Controller，默认情况下该 Controller 也同时作为 Broker 角色。
export AWS_ACCESS_KEY_ID=tid_avqGWWSohRwMErSDZoYAUOqcNiOYnyrzVEyatwqUlAskBBDCNA
export AWS_SECRET_ACCESS_KEY=tsec_4J9qtNpHC4E+c9mZeHTQv91uId7+8FbL7Ob6NvtiPJoo0301DU99uNTuOqFzX9b-UxAgkl
  • 为 Tigris 创建桶
      • 设置环境变量来配置 AWS CLI 需要的 Access Key 和 Secret Key。
      • 使用 AWS CLI 创建 S3 存储桶。 
        aws s3api create-bucket --bucket automq-data --endpoint=https://fly.storage.tigris.dev 
aws s3api create-bucket --bucket automq-ops --endpoint=https://fly.storage.tigris.dev
    Tips:
    • Tigris 是一种基于 Fly.io 基础架构的全球缓存、兼容 S3 的对象存储服务，创建和管理桶完全通过 Fly CLI 进行，详细请前往 Fly 官网查看关于 Tigris 的文档。
    • Tigris 提供了创建桶和 Access Key 的控制面板，你可以通过登陆 Fly 账号进行登陆查看。

安装并启动 AutoMQ 集群

配置 S3URL

第 1 步：生成 S3 URL

AutoMQ 提供了 automq-kafka-admin.sh 工具，用于快速启动 AutoMQ。只需提供包含所需 S3 接入点和身份认证信息的 S3 URL，即可一键启动 AutoMQ，无需手动生成集群 ID 或进行存储格式化等操作。
### 命令行使用示例
bin/automq-kafka-admin.sh generate-s3-url \ 
--s3-access-key=xxx  \ 
--s3-secret-key=yyy \ 
--s3-region=cn-northwest-1  \ 
--s3-endpoint=s3.cn-northwest-1.amazonaws.com.cn \ 
--s3-data-bucket=automq-data \ 
--s3-ops-bucket=automq-ops
当使用 Tigris 时，可以采用如下的配置来生成具体的 S3URL。
参数名
本例默认值
说明
--s3-access-key
tid_avqGWWSohRwMErSDZoYAUOqcNiOYnyrzVEyitwqUlAskBBDCNA
根据自己创建的密钥，按照实际情况进行替换
--s3-secret-key
tsec_4J9qtNpHC4E+c9mZeHTQv91uId7+8FbL7Ob6NvtiPJoo0301DU99uNTuOqFzX9b-UxAgkl
根据自己创建的密钥，按照实际情况进行替换
--s3-region
auto
该参数在 Tigris 中无效，可以设置为任意值，例如 auto
--s3-endpoint
https://fly.storage.tigris.dev
全局端点提供了一个统一的入口点，可在全球范围内访问你的 Tigris 数据集
--s3-data-bucket
automq-data

--s3-ops-bucket
automq-ops

关于 Fly[4]：
fly.io 是一个容器化的部署平台，只需要一个 Dockerfile 文件就能部署代码到 fly.io 的服务器上，同时还自动生成域名。
Tigris 是一种基于 Fly 基础架构全球缓存的对象存储服务，在 Tigris 中，桶是固有的全局实体。这意味着桶中的对象存储在发起请求的区域。为了优化性能并减少延迟，这些对象会根据随时间观察到的访问模式智能地分布到其他区域。

输出结果

执行该命令后，将自动按以下阶段进行：
  1. 根据提供的 accessKey 和 secretKey 对 S3 基本功能进行探测，以验证 AutoMQ 和 S3 的兼容性。
  2. 根据身份信息，接入点信息生成 s3url。
  3. 根据 s3url 获取启动 AutoMQ 的命令示例。在命令中，将 --controller-list 和 --broker-list 替换为实际需要部署的 CONTROLLER 和 BROKER。
执行结果示例如下： 
############  Ping s3 ########################

[ OK ] Write object
[ OK ] RangeRead object
[ OK ] Delete object
[ OK ] CreateMultipartUpload
[ OK ] UploadPart
[ OK ] CompleteMultipartUpload
[ OK ] UploadPartCopy
[ OK ] Delete objects
############  String of s3url ################

Your s3url is: 

s3://fly.storage.tigris.dev?s3-access-key=tid_avqGWWSohRwMErSDZoYAUOqcNiOYnyrzVEyitwqUlAskBBDCNA&s3-secret-key=tsec_4J9qtNpHC4E+c9mZeHTQv91uId7+8FbL7Ob6NvtiPJoo0301DU99uNTuOqFzX9b-UxAgkl&s3-region=hz&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=2q6YM-ydTYKGVs5Q9z21pA


############  Usage of s3url  ################
To start AutoMQ, generate the start commandline using s3url.
bin/automq-kafka-admin.sh generate-start-command \
--s3-url="s3://fly.storage.tigris.dev?s3-access-key=tid_avqGWWSohRwMErSDZoYAUOqcNiOYnyrzVEyitwqUlAskBBDCNA&s3-secret-key=tsec_4J9qtNpHC4E+c9mZeHTQv91uId7+8FbL7Ob6NvtiPJoo0301DU99uNTuOqFzX9b-UxAgkl&s3-region=auto&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=2q6YM-ydTYKGVs5Q9z21pA" \
--controller-list="192.168.0.1:9093;192.168.0.2:9093;192.168.0.3:9093"  \
--broker-list="192.168.0.4:9092;192.168.0.5:9092"   

TIPS: Please replace the controller-list and broker-list with your actual IP addresses.

第 2 步：生成启动命令列表

将上一步生成的命令中的 --controller-list 和 --broker-list 替换为你的主机信息，具体来说，将它们替换为环境准备中提到的 3 台 CONTROLLER 和 2 台 BROKER 的 IP 地址，并且使用默认的 9092 和 9093 端口。
bin/automq-kafka-admin.sh generate-start-command \
--s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" \
--controller-list="192.168.0.1:9093;192.168.0.2:9093;192.168.0.3:9093"  \
--broker-list="192.168.0.4:9092;192.168.0.5:9092"

参数说明

参数名
必选
说明
--s3-url
是
由 bin/automq-kafka-admin.sh generate-s3-url 命令行工具生成，包含身份认证、集群 ID 等信息
--controller-list
是
至少需要有一个地址，用作 CONTROLLER 主机的 IP、端口列表。格式为 IP1:PORT1；IP2:PORT2;IP3:PORT3
--broker-list
是
至少需要有一个地址，用作 BROKER 主机的 IP、端口列表。格式为 IP1:PORT1；IP2:PORT2;IP3:PORT3
--controller-only-mode
否
决定 CONTROLLER 节点是否只承担 CONTROLLER 角色。默认为 false，即部署的 CONTROLLER 节点同时也作为 BROKER 角色。

输出结果

执行命令后，会生成用于启动 AutoMQ 的命令。
############  Start Commandline ##############
To start an AutoMQ Kafka server, please navigate to the directory where your AutoMQ tgz file is located and run the following command.

Before running the command, make sure that Java 17 is installed on your host. You can verify the Java version by executing 'java -version'.

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=0 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.1:9092,CONTROLLER://192.168.0.1:9093 --override advertised.listeners=PLAINTEXT://192.168.0.1:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=1 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.2:9092,CONTROLLER://192.168.0.2:9093 --override advertised.listeners=PLAINTEXT://192.168.0.2:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=2 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.3:9092,CONTROLLER://192.168.0.3:9093 --override advertised.listeners=PLAINTEXT://192.168.0.3:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker --override node.id=3 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.4:9092 --override advertised.listeners=PLAINTEXT://192.168.0.4:9092

bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker --override node.id=4 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.5:9092 --override advertised.listeners=PLAINTEXT://192.168.0.5:9092


TIPS: Start controllers first and then the brokers.
node.id 默认从 0 开始自动生成。

第 3 步：启动 AutoMQ

要启动集群，请在预先指定的 CONTROLLER 或 BROKER 主机上依次执行上一步命令中的命令列表。例如，在 192.168.0.1 上启动第一个 CONTROLLER 进程，执行生成的启动命令列表中的第一条命令模板。
bin/kafka-server-start.sh --s3-url="s3://s3.cn-northwest-1.amazonaws.com.cn?s3-access-key=XXX&s3-secret-key=YYY&s3-region=cn-northwest-1&s3-endpoint-protocol=https&s3-data-bucket=automq-data&s3-path-style=false&s3-ops-bucket=automq-ops&cluster-id=40ErA_nGQ_qNPDz0uodTEA" --override process.roles=broker,controller --override node.id=0 --override controller.quorum.voters=0@192.168.0.1:9093,1@192.168.0.2:9093,2@192.168.0.3:9093 --override listeners=PLAINTEXT://192.168.0.1:9092,CONTROLLER://192.168.0.1:9093 --override advertised.listeners=PLAINTEXT://192.168.0.1:9092

参数说明

使用启动命令时，未指定的参数将采用 Apache Kafka 的默认配置[5]。对于 AutoMQ 新增的参数[6]，将使用 AutoMQ 提供的默认值。要覆盖默认配置，可以在命令末尾添加额外的 --override key=value 参数来覆盖默认值。
参数名
必选
说明
s3-url
是
由 bin/automq-kafka-admin.sh generate-s3-url 命令行工具生成，包含身份认证、集群 ID 等信息
process.roles
是
可选项为 CONTROLLER 或 BROKER。如果一台主机同时为 CONTROLLER 和 BROKER，则配置值为 CONTROLLER，BROKER。
node.id
是
整数，用于唯一标识 Kafka 集群中的 BROKER 或 CONTROLLER，在集群内部必须保持唯一性。
controller.quorum.voters
是
参与 KRAFT 选举的主机信息，包含 nodeid、ip 和 port 信息，例如：0@192.168.0.1：9093，1@192.168.0.2：9093，2@192.168.0.3：9093
listeners
是
监听的 IP 和端口
advertised.listeners
是
BROKER 为 Client 提供的接入地址。
log.dirs
否
存放 KRAFT、BROKER 元数据的目录。
s3.wal.path
否
在生产环境中，建议将 AutoMQ WAL 数据存放在一个独立挂载的新数据卷裸设备上。这样可以获得更好的性能表现，因为 AutoMQ 支持将数据写入裸设备，从而降低延迟。请确保配置正确的路径以存储 WAL 数据。
autobalancer.controller.enable
否
默认值为 false，不启用流量重平衡。自动开启流量重平衡后，AutoMQ 的 auto balancer 组件会自动迁移分区，以确保整体流量是均衡的。
Tips: 若需启用持续流量重平衡或运行 Example: Self-Balancing When Cluster Nodes Change，建议在启动时为 Controller 明确指定参数 --override autobalancer.controller.enable=true。

后台运行

如果需要以后台模式运行，请在命令末尾添加以下代码：
command > /dev/null 2>&1 &
至此，你已经完成了基于 Tigris 的 AutoMQ 集群部署，拥有了一个低成本、低延迟、秒级弹性的 Kafka 集群了。如果你需要进一步体验 AutoMQ 的秒级分区迁移、持续自平衡等特性，可以参考官方示例[7]。

参考资料

[1] Tigris: https://www.tigrisdata.com/
[2] Features of Tigris: https://www.tigrisdata.com/docs/overview/
[3] AutoMQ 1.0.6-rc1: https://github.com/AutoMQ/automq/releases
[4] Fly: https://fly.io/
[5] WHAT IS AUTOMQ?: https://docs.automq.com/docs/automq-opensource/HSiEwHVfdiO7rWk34vKcVvcvn2Z
[6] Example: Self-Balancing when Cluster Nodes Change: https://docs.automq.com/docs/automq-opensource/H6APwuugniOx7XktCiNcKnW8nYb
[7] AutoMQ: GETTING STARTED: https://docs.automq.com/zh/docs/automq-opensource/EvqhwAkpriAomHklOUzcUtybn7g
[8] Tigris: Getting Started: https://www.tigrisdata.com/docs/get-started/#getting-started

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
对象存储服务 OBS
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入