《企业级大数据平台构建:架构与实现》——2.1.4 命名空间

举报
华章计算机 发表于 2019/06/06 15:42:04 2019/06/06
【摘要】 本书摘自《企业级大数据平台构建:架构与实现》——书中第2章,2.1.4节,作者是朱凯。

2.1.4 命名空间

HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。这种设计使得我们在使用HDFS的时候会感觉和使用本地文件系统毫无差异。

Namenode负责维护文件系统命名空间的元数据和操作日志。其中,元数据由fsimage镜像文件保存,它等同于HDFS命名空间的一个快照文件,保存了所有文件的地址、描述和创建时间等信息。Namenode在启动的时候会将fsimage中的信息载入内存以供客户端访问。而操作日志则由edites文件保存,任何对文件系统命名空间或属性的修改都将被写入edites文件并被记录下来,当edites文件的大小增长达到阈值的时候,HDFS会将fsimage文件和edites文件进行合并,生成新的fsimage快照。

应用程序可以设置HDFS保存的文件的副本数目,这个信息也是由Namenode保存的。默认情况下文件的副本系数是3,HDFS默认的存放策略是将一个副本放在本地机架的节点上,一个副本放在同一机架的另外一个节点上,最后一个副本放在不同机架的节点上。


【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。