直观对比Linux文件系统和HDFS文件系统（执行ls命令）。

Linux：

#ls -l

-rw-r--r-- 1 root root          20 Jul 29 14:31 ms-server-download-zzzc_88888.idx

-rw-r--r-- 1 root root          8   Jul 29 14:31 ms-server-download-zzzc_88888.dat

HDFS架构如下：

1. Client：客户端。

2. NameNode：master，它是一个主管、管理者，存储元数据，存储元数据格式会在后面介绍。

3. DataNode：slave，NameNode 下达命令，DataNode 执行操作并存储实际数据。

4. SecondaryNameNode：和NameNode不是主备关系。当NameNode挂掉的时候，它并不能马上替换NameNode提供服务。主要作用会在后面介绍。

3、HDFS如何进行读写操作

写文件

1. 客户端调用create方法，创建一个新的文件；NameNode会做各种校验，比如文件是否已经存在，客户端是否有权限等。
2. 如果校验通过，客户端开始写数据到DN(DataNode)，文件会按照block大小进行切块，默认128M（可配置），DataNode构成pipeline管道，client端向输出流对象中写数据，传输的时候是以比block更小的packet为单位进行传输，packet又可拆分为多个chunk，每个chunk都携带校验信息。
3. 每个DataNode写完一个块后，才会返回确认信息，并不是每个packet写成功就返回一次确认。
4. 写完数据，关闭文件。
   
    

1. 客户端调用open方法，打开一个文件。
2. 获取block的location，即block所在的DN，NN(NameNode)会根据拓扑结构返回距离客户端最近的DN。
3. 客户端直接访问DN读取block数据并计算校验和，整个数据流不经过NN。
4. 读取完一个block会读取下一个block。
5. 所有block读取完成，关闭文件。
   
    

• 副本1:同机架的不同节点。

• 副本2:同机架的另一个节点。

• 副本3:不同机架的另一个节点。

• 如果还有其他副本:随机。

• 副本1:同Client的节点。

• 副本2:不同机架的节点。

• 副本3:同第2副本相同机架的不同节点。

• 如果还有其他副本:随机。

先大致看下启动流程：

1. 启动NameNode，读取FsImage元数据镜像文件，加载到内存中；读取EditLog日志文件，加载到内存中，使当前内存中元数据信息与上次关闭系统时保持一致。
2. 启动DataNode，向NameNode注册，并向NameNode发送BlockReport。
3. 退出安全模式后，Client可以对HDFS进行目录创建、文件上传等操作，改动的目录结构会记录在EditLog中，NameNode的内存中的目录结构也会改变。
   
    

1. 管理 HDFS 的命名空间。
2. 管理数据块（Block）映射信息。
3. 配置副本策略。

4. 处理客户端读写请求。

Fsimage是一个二进制文件,格式如下：

在blockInfo中保存了block所在的DN信息。

和NameNode并非主备关系，而是辅助NN进行合并FsImage和EditLog并起到备份作用。

   ls：显示文件目录信息

   示例：hadoop fs -ls /hdfs-path/

   moveFromLocal:从本地剪切到hdfs

   示例：hadoop fs -moveFromLocal /local-path/test.txt /hdfs-path/

   moveToLocal:从HDFS剪切到本地

   示例：hadoop fs -moveToLocal /hdfs-path/test.txt /local-path/

   cp: 从hdfs的一个路径拷贝到hdfs的另一个路径

   示例：hadoop fs -cp /hdfs-path1/test.txt /hadoop-path2/test.txt

   mv: 在hdfs目录中移动文件

   示例：hadoop fs -mv /hdfs-path1/test.txt /hdfs-path2/test.txt

   get: 从hdfs下载文件到本地

   示例：hadoop fs -get /hdfs-path/test.txt

   put: 从本地上传文件到hdfs

   示例：hadoop fs -put /local-path/test.txt /hdfs-path/

   rm: 删除文件或者文件夹

   示例：hadoop fs -rm -r /hdfs-path/test.txt

   setrep:设置指定路径下文件副本数

   示例：hadoop fs -setrep 6 /hdfs-path/test.txt

最后根据以上内容总结HDFS优缺点如下：

优点：

1. 支持海量数据的存储。

2. 检测和快速应对硬件故障。

3. 流式数据访问。
4. 简化的一致性模型。
5. 高容错性。
6. 商用硬件。

缺点：

1. 不能做到低延迟数据访问。

2. 不适合大量的小文件存储。

3. 不支持修改文件（HDFS2.x开始支持给文件追加内容)。

4. 不支持用户的并行写。

原文出处：https://mp.weixin.qq.com/s/s-kOquVbIuJAMSQqkfmaAA

http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html
https://www.jianshu.com/p/85b71d550c43
https://www.jianshu.com/p/f1e785fffd4d
https://blog.csdn.net/weixin_38750084/article/details/82963235
https://blog.csdn.net/macyang/article/details/7958862