华为云 DMS 消息队列实战：Kafka 与 RabbitMQ 选型指南

前言

分布式消息服务（DMS）是华为云提供的消息队列托管服务，支持 Kafka 和 RabbitMQ 两种引擎。本文对比两者特点，介绍选型方法和应用场景。

Kafka vs RabbitMQ

Kafka 特点

Kafka 是高吞吐量分布式消息系统，基于日志存储消息。优势是极高的吞吐量（百万级 TPS）、消息持久化、支持消息回溯和流处理。适合大数据和实时计算场景。

RabbitMQ 特点

RabbitMQ 基于交换器和队列模型，支持丰富的路由模式。优势是灵活的消息路由、消息确认机制和优先级队列。适合企业应用集成和复杂路由场景。

选型建议

日志收集和大数据处理选 Kafka，高吞吐是关键。业务系统间异步通信选 RabbitMQ，灵活路由是关键。如果需要消息严格有序和复杂路由选 RabbitMQ，如果需要消息回溯和流处理选 Kafka。

Kafka 核心概念

Topic 和 Partition

Topic 是消息主题，Partition 是主题的分区。消息分布在各 Partition 上，Partition 数量决定并行度。消费组中每个消费者负责不同 Partition。

副本机制

每个 Partition 可以配置多个副本，分布在不同节点上。Leader 副本处理读写，Follower 副本同步数据。Leader 故障时 Follower 接管，实现高可用。

消费者组

同一消费者组内的消费者共同消费一个 Topic，每条消息只被组内一个消费者处理。不同消费者组独立消费，互不影响。

RabbitMQ 核心概念

交换器类型

Direct：根据路由键精确匹配队列。
Topic：根据路由键模式匹配，支持通配符。
Fanout：广播到所有绑定队列。
Headers：根据消息头属性匹配。

队列属性

持久化：队列和消息是否持久化到磁盘，重启不丢失。
自动删除：最后一个消费者断开后自动删除队列。
死信队列：消息被拒绝或过期时转发到死信队列，用于异常处理。

应用场景

异步解耦

订单系统创建订单后发送消息到队列，库存和物流系统异步消费。降低系统耦合度，提高响应速度。

削峰填谷

秒杀场景下用户请求先入队列，后端按处理能力消费。避免瞬时高并发压垮后端系统。

日志收集

各服务将日志发送到 Kafka Topic，日志分析系统消费处理。Kafka 高吞吐适合海量日志场景。

事件通知

系统状态变更发送事件消息，订阅方按需消费。实现松耦合的事件驱动架构。

性能优化

Kafka 优化

Partition 数量根据消费者并行度设置，建议等于消费者数量。批量发送和压缩减少网络开销。合理设置消息保留时间避免磁盘空间浪费。

RabbitMQ 优化

开启镜像队列实现高可用。批量确认提高吞吐量。合理设置预取数量平衡消费者负载和消息时延。

常见问题

问：Kafka 消息丢失怎么排查？
答：检查生产者是否配置了 acks 为 all，检查副本同步状态，检查消费者是否正确提交了 offset。

问：RabbitMQ 消息堆积怎么办？
答：增加消费者数量提高消费速度，检查消费者是否有异常阻塞，必要时扩容队列存储容量。

总结

DMS 消息队列选型关键在于理解业务需求：高吞吐选 Kafka，灵活路由选 RabbitMQ。合理配置分区和副本保障性能和可用性，异步解耦和削峰填谷是典型应用场景。