《从零开始学Hadoop大数据分析（视频教学版）》 —3.2.2 HDFS的设计

3.2.2  HDFS的设计

　　HDFS的设计主要是为了实现存储大量数据、成本低廉和容错率高、数据一致性，以及顺序访问数据这4个目标。

　　1．大数据集

　　HDFS适合存储大量文件，总存储量可以达到PB/EB，单个文件一般在几百兆。

　　2．基于廉价硬件，容错率高

　　Hadoop并不需要运行在昂贵且高可靠的硬件上，其设计运行在商用廉价硬件的集群上，因此对于庞大的集群来说，节点发生故障的几率还是非常高的。HDFS遇到上述故障时被设计成能够继续运行且可以不让用户察觉到明显的中断。

　　3．流式数据访问（一致性模型）

　　HDFS的构建思路是这样的：一次写入、多次读取是最高效的访问模式。数据集通常由数据源生成或从数据源复制而来，接着长时间在此数据集上进行各种分析。

　　每次分析都将涉及该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

　　4．顺序访问数据

　　HDFS适用于处理批量数据，而不适合随机定位访问。