《从零开始学Hadoop大数据分析（视频教学版）》 —3.4 HDFS的应用

3.4  HDFS的应用

　　前面已经说过，HDFS是一个分布式文件系统，可以对海量数据进行存储并对文件进行操作，并且前面内容中还介绍了一些HDFS中的常用命令，本节主要讲解如何应用HDFS。HDFS提供了两种访问方式，分别是基于Shell和Java API，下面分别介绍使用Shell和Java API对HDFS进行访问。

3.4.1  基于Shell的操作

　　以下介绍一些我们在Shell中操作HDFS时经常用到的命令。

　　1．创建目录命令

　　HDFS创建目录的命令是mkdir，命令格式如下：

hdfs dfs -mkdir 文件夹名

　　例如，在user目录下创建wen目录。代码如下：

hdfs  dfs -mkdir /user/wen

　　2．上传文件到HDFS

　　上传文件时，文件首先复制到DataNode上，只有所有的DataNode都成功接收完数据，文件上传才是成功的。命令格式如下：

hdfs dfs -put filename newfilename

　　例如，通过“-put文件1文件2”命令将test1文件上传到HDFS上并重命名为test2。代码如下：

hdfs dfs -put test1 test2

　　3．列出HDFS上的文件

　　采用-ls命令列出HDFS上的文件，需要注意的是，在HDFS中没有“当前工作目录”这个概念。命令格式如下：

hdfs dfs -ls

　　例如，列出HDFS特定目录下的所有文件。代码如下：

hdfs dfs –ls /wen

　　4．查看HDFS下某个文件的内容

　　通过“-cat 文件名”命令查看HDFS下某个文件的内容。命令格式如下：

hdfs dfs -cat文件名

　　例如，查看HDFS上wen目录下test.txt中的内容。代码如下：

hdfs dfs -cat /wen/test.txt

　　5．将HDFS中的文件复制到本地系统中

　　通过“-get文件1文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。命令格式如下：

hdfs dfs -get文件名 新文件名

　　例如，将HDFS中的in文件复制到本地系统并重命名为IN1。代码如下：

hdfs dfs -get in IN1

　　-get命令与-put命令一样，既可以操作目录，也可以操作文件。

　　6．删除HDFS下的文档

　　通过“-rmr 文件”命令删除HDFS下的文件。命令格式如下：

hdfs dfs -rmr文件

　　例如，删除HDFS下的out文档。代码如下：

hdfs dfs -rmr out

　　-rmr删除文档命令相当于delete的递归版本。

　　7．格式化HDFS

　　通过-format命令实现HDFS格式化。命令格式如下：

hdfs namenode -format

　　8．启动HDFS

　　通过运行start-dfs.sh，就可以启动HDFS了。命令格式如下：

start-dfs.sh

　　9．关闭HDFS

　　当需要退出HDFS时，通过stop-dfs.sh就可以关闭HDFS。命令格式如下：

stop-dfs.sh