Hadoop-2.2.0学习之二HDFS联盟

举报
格图洛书 发表于 2021/12/30 01:18:57 2021/12/30
【摘要】 在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构,有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图,如下所示。 从上面的结构可以看出,HDFS主要包括两层:Namespace(命名空间)和块存储(BlockStorage)。命...

在学习Hadoop-2.x版本中的HDFS之前先看一下目前普遍使用中的Hadoop-1.x版本的HDFS结构,有助于更好地理解2.x版本中HDFS的变化所带来的好处。先看看2.x版本之前的HDFS结构图,如下所示。


从上面的结构可以看出,HDFS主要包括两层:Namespace(命名空间)和块存储(BlockStorage)。命名空间由目录、文件和块组成,支持文件系统相关的所有命名空间操作,比如创建、删除、修改、列出文件和目录。

块存储服务有两部分:块管理和存储。其中的块管理由NameNode实现,通过处理注册信息和周期性的心跳提供DataNode集群的组员关系,处理块报告和维护块位置,支持譬如创建、删除、修改和查询块位置等的块相关操作,管理副本位置和确保一个块的副本数量在允许的副本数量之内,删除超出的块副本。存储由DataNode通过在本地文件系统存储块提供,并且允许读写访问。

Hadoop-1.x版本中的HDFS架构在整个集群中只允许单一的命名空间,单一的NameNode管理着该空间。HDFS联盟通过增加支持多NameNode/命名空间解决了HDFS架构中的局限性。

在看过了1.x版本中的HDFS架构后,现在看一下2.x中的HDFS联盟架构,架构图如下图所示。通过该图可以发现,2.x

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/25237727

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。