《企业级大数据平台构建:架构与实现》——2.1.4 命名空间
【摘要】 本书摘自《企业级大数据平台构建:架构与实现》——书中第2章,2.1.4节,作者是朱凯。
2.1.4 命名空间
HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动或重命名文件。这种设计使得我们在使用HDFS的时候会感觉和使用本地文件系统毫无差异。
Namenode负责维护文件系统命名空间的元数据和操作日志。其中,元数据由fsimage镜像文件保存,它等同于HDFS命名空间的一个快照文件,保存了所有文件的地址、描述和创建时间等信息。Namenode在启动的时候会将fsimage中的信息载入内存以供客户端访问。而操作日志则由edites文件保存,任何对文件系统命名空间或属性的修改都将被写入edites文件并被记录下来,当edites文件的大小增长达到阈值的时候,HDFS会将fsimage文件和edites文件进行合并,生成新的fsimage快照。
应用程序可以设置HDFS保存的文件的副本数目,这个信息也是由Namenode保存的。默认情况下文件的副本系数是3,HDFS默认的存放策略是将一个副本放在本地机架的节点上,一个副本放在同一机架的另外一个节点上,最后一个副本放在不同机架的节点上。
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)