Apache Pulsar通过对象存储保存分级消息

举报
华为云存储 发表于 2019/07/07 23:51:14 2019/07/07
【摘要】 Apache Pulsar是一种新型的消息队列软件。由雅虎2013年创建,并于2016年并入Apache基金会。目前雅虎和Twitter都是每天通过Pulsar发送超过1000亿条消息。Pulsar原理类似于Kafka, 而不同与Kafka使用本地Broker保存消息, Pulsar使用了Apache BookKeeper提供的数据访问层。故Pulsar是一种计算存储分离的架构,Broke...

Apache Pulsar是一种新型的消息队列软件。由雅虎2013年创建,并于2016年并入Apache基金会。

目前雅虎和Twitter都是每天通过Pulsar发送超过1000亿条消息。

Pulsar原理类似于Kafka, 而不同与Kafka使用本地Broker保存消息,  Pulsar使用了Apache BookKeeper提供的数据访问层。故Pulsar是一种计算存储分离的架构,Broker程序能做到无状态,并可以无缝横向扩展。


image.png

Apache Pulsar使用了一种面向segment的数据结构,一个topic由多个Segment构成Tiered storage illustration


而Pulsar提供了分级的机制, 部分Segment可以直接tier到对象存储作为储存。


对于推荐系统而言,这种机制就比较有用,可以方便的将历史的消息进行回放,进行深度学习训练使用。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。