Apache Pulsar通过对象存储保存分级消息
【摘要】 Apache Pulsar是一种新型的消息队列软件。由雅虎2013年创建,并于2016年并入Apache基金会。目前雅虎和Twitter都是每天通过Pulsar发送超过1000亿条消息。Pulsar原理类似于Kafka, 而不同与Kafka使用本地Broker保存消息, Pulsar使用了Apache BookKeeper提供的数据访问层。故Pulsar是一种计算存储分离的架构,Broke...
Apache Pulsar是一种新型的消息队列软件。由雅虎2013年创建,并于2016年并入Apache基金会。
目前雅虎和Twitter都是每天通过Pulsar发送超过1000亿条消息。
Pulsar原理类似于Kafka, 而不同与Kafka使用本地Broker保存消息, Pulsar使用了Apache BookKeeper提供的数据访问层。故Pulsar是一种计算存储分离的架构,Broker程序能做到无状态,并可以无缝横向扩展。
Apache Pulsar使用了一种面向segment的数据结构,一个topic由多个Segment构成
而Pulsar提供了分级的机制, 部分Segment可以直接tier到对象存储作为储存。
对于推荐系统而言,这种机制就比较有用,可以方便的将历史的消息进行回放,进行深度学习训练使用。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)