Hadoop学习之HDFS架构(二)
【摘要】
HDFS可以跨越大集群中的机器可靠地存储非常大的文件，将文件存储为一系列的块，除了最后一个块外，所有的块的大小都是相同的。当然若文件大小正好为块大小的倍数则所有块的大小相同。为了容错的目的，一个文件的块会被复制成若干份，块大小和复制因子是可配置的。应用程序可以指定文件的副本数量，复制因子可以在文件创建时指定，也可以以后修改。HDFS中的...
HDFS可以跨越大集群中的机器可靠地存储非常大的文件，将文件存储为一系列的块，除了最后一个块外，所有的块的大小都是相同的。当然若文件大小正好为块大小的倍数则所有块的大小相同。为了容错的目的，一个文件的块会被复制成若干份，块大小和复制因子是可配置的。应用程序可以指定文件的副本数量，复制因子可以在文件创建时指定，也可以以后修改。HDFS中的文件是一次性写入的，在任何时候都是严格一次性写入的。
NameNode做出关于块副本的决定，它周期性地收到集群中每个DataNode的心跳和块报告。收到心跳意味着DataNode运行正常，块报告包含DataNode上所有块的清单。下图即为DataNode中块复制和NameNode中元数据的图示。
副本的布局对HDFS的可靠性和性能是很关键的，副本布局的优化是HDFS和其它多数分布式文件系统的区别，优化副本布局需要很多调试及经验。机架感知的副本布局策略的目的是改进数据的可靠性、可用性和网络带宽的利用率，副本布局策略的目前实现是上述方向的第一次成果。该策略实现的短期目标是在生产系统上验证它，更加了解它的反应，建立测试的基础并且研究更加精细的策略。
运行大的HDFS实例的集群中的计算机通常分布在很多机架上，不同机架上两个节点的通信必须通过交换机。在多数情况下，相同机架
文章来源: wenyusuran.blog.csdn.net，作者：文宇肃然，版权归原作者所有，如需转载，请联系作者。
原文链接：wenyusuran.blog.csdn.net/article/details/25237519
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）