2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
【摘要】 2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？答案2023-07-14：在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈...
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
答案2023-07-14：
在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈，成为系统性能的瓶颈。实际上，由于IO操作变得随机，所以在消息写入时，Kafka的IO性能会随着主题和分区数量的增加而先上升，然后下降。
RocketMQ追求在消息写入时实现极致的顺序写。所有的消息都会按顺序写入commitlog文件，不论主题或分区的数量增加，都不会影响其顺序性。
在消息的发送和消费共存的场景中，随着Topic数量的增加，Kafka的吞吐量会急剧下降，而RocketMQ则能够保持较为稳定的性能表现。因此，Kafka更适用于少量Topic和消费端的业务场景，而RocketMQ则更适合于涉及多个Topic和多个消费端的业务场景。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
- 2025-03-10：将 1 移动到末尾的最大操作次数。用go语言，给定一个二进制字符串 s，你可以进行以下操作：选择字符串中任
- 2025-03-07：网格图操作后的最大分数。给定一个 n x n 的二维矩阵 grid，初始时所有格子均为白色。你可以进行操作
- 2025-03-06：给定一个长度为 n 的整数组 nums，其中 n 是偶数，同时还有一个整数 k。 你可以进行一些操作，每次
- 绝了！k3s (k8s) 安装 ollama 运行 deepseek 全流程揭秘，yaml全公开
- 2025-03-04：求出硬币游戏的赢家。用go语言，给定两个正整数 x 和 y，分别代表75元和10元硬币的数量。 Alice
评论（0）