HBase简介及原理

举报
淼淼之森 发表于 2019/01/30 11:38:47 2019/01/30
【摘要】 HBase是一个万亿行,百万列大表(Big Table),数据存放在hdfs集群中

HBase简介


1、HBase是一个万亿行,百万列大表(Big Table),数据存放在hdfs集群中;

写操作使用MapReduce处理,将(增删改)处理结果放入HBase中,读就直接读HBase;

HBase的并发量在1000左右,常用的关系型数据库MySql的并发量在300~500之间,之所以HBase的并发量比较大,原因在于HBase启用了缓存技术;

HBase中的块的单位是64k,每次读取数据,以块为单位将hdfs集群中的数据加载到内存中,加载到内存中的数据形同一个散列表,散列表以Key-Value的键值对方式存储;

HDFS中存储的数据受到HBase的元数据管理,这种管理方式与Hive雷同,即HBase通过Zookeeper集群管理元数据,通过HDFS集群管理业务数据。


2、数据存储以Region作为单位(行的集合),一个Region的默认大小为128M;


3、因为HBase是基于键值对(读时以块为单位读)的一个NOSQL数据库,Redis的读写纯粹是基于键值对,Redis的并发量在十万左右,并发能力高,

但没有副本机制,数据容易丢失;而HBase基于HDFS集群,具有副本机制,数据安全度高;


4、使用关联评估算法(属于机器学习)


5、HBase是一个构建在HDFS上的分布式列存储系统;

HBase是基于Google BigTable模型开发的;

HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;

从逻辑上讲,HBase将数据按照表、行和列进行存储。

与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。

image.png


Hbase表的特点

大:一个表可以有数十亿行,上百万列;

无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;

面向列:面向列(族)的存储和权限控制,列(族)独立检索;

稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏;

数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳;

数据类型单一:Hbase中的数据都是字符串,没有类型。


HBase架构原理


image.png



大数据学习交流QQ群:217770236 让我们一起学习大数据


1、客户端链接zookeeper集群,申请写数据

2、zookeeper返回一个地址列表给客户端

3、客户端根据地址列表链接slave节点写数据,并反馈状态

------------slave节点会主动上报存储状态及工况信息到master

------------master则主动将元数据上报zookeeper集群

4、客户端告知zookeeper记录和状态


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。