Apache Doris,一款优秀的高效分析型数据库

举报
周杰伦本人 发表于 2022/11/29 23:29:37 2022/11/29
【摘要】 Apache Doris,一款优秀的高效分析型数据库 硬件要求 角色划分 数据划分 总结 Apache Doris,一款优秀的高效分析型数据库坚持原创,写好每一篇文章Apache Doris是大规模并行处理的分析型数据库,它是百度贡献给Apache的项目,使用Doris可以做一些bi报表数据分析 硬件要求它支持MySQL客户端的访问,由于它是大规模并行处理的分析型数据库软件,所以它对硬件的...

Apache Doris,一款优秀的高效分析型数据库

坚持原创,写好每一篇文章

Apache Doris是大规模并行处理的分析型数据库,它是百度贡献给Apache的项目,使用Doris可以做一些bi报表数据分析

硬件要求

它支持MySQL客户端的访问,由于它是大规模并行处理的分析型数据库软件,所以它对硬件的要求比较高,一般测试环境下我们要求机器是8核的,内存8g以上,千兆网络,而生产环境的要求更高,内存64g,网络在万兆网,可见它对硬件就还是有一定的要求的。

角色划分

Doris只有两个角色,前端和后端,前端Frontend,简称FE,后端Backend,简称BE。前端负责存储、维护元数据,在前端角色中,有leader、follower和observer三种角色,通过这三种角色我们就可以看出采用的是paxos算法,和zookeeper集群使用的算法一致,这里的观察者observer不参与数据的写入,只是读取的功能。后端就是用来存储和计算数据的

除了前端和后端以外,还有一个是broker,broker是在需要进行第三方系统导入数据的时候使用的到,因此它是可选的。如果使用的话,建议前端和后端的节点都部署broker

数据划分

Doris中的数据表与传统的关系型数据库的行和列有所不同,行就是一行数据,而列分为维度列和指标列,所谓维度列,就是按一定维度进行划分数据,相当于我们传统SQL的group by分组后的条件,而指标列就是一些count、sum、avg等值,在存储方面,Doris有分区和分桶的概念,分区能够方便数据的管理,它是最小的管理单元,而分桶是在分区的基础上进行细分,按照哈希值进行数据分片,它是最小的物理存储单元,数据的操作都是基于桶进行操作的。

总结

这篇我们讲了什么是Apache Doris,由于它的大规模并行处理的特点,所以相比传统的数据库它对硬件有更高的要求,在整体架构上它采用了Paxos算法,所以在角色划分上和zookeeper中的角色差不多,有leader、follower和observer,在数据划分方面,它将列分为维度列和指标列,这一划分也奠定了它的高数据处理能力。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。