HDFS 命令：管理 HDFS 的 Hadoop Shell 命令

HDFS 命令

在我之前的博客中，我已经讨论过什么是 HDFS、它的特性和架构。第一步是执行 HDFS 命令并探索 HDFS 的工作原理。在本博客中，我将讨论您可以使用哪些 HDFS 命令访问 Hadoop 文件系统。

因此，让我告诉您在使用 Hadoop 文件系统时最常用的重要 HDFS 命令及其工作方式。

1、fsck

HDFS 命令用于检查 Hadoop 文件系统的健康状况。

命令： hdfs fsck /

2、ls

HDFS 命令显示 HDFS 中的文件和目录列表。

命令： hdfs  dfs –ls /

3、mkdir

HDFS 命令在 HDFS 中创建目录。

用法： hdfs dfs –mkdir /directory_name

命令： hdfs dfs –mkdir /new_edureka

注意：这里我们尝试在 HDFS 中创建一个名为“new_edureka”的目录。

4、touchz

HDFS 命令在 HDFS 中创建文件大小为 0 字节的文件。

用法： hdfs dfs –touchz /directory/filename

命令： hdfs dfs –touchz /new_edureka/sample

注意：这里我们尝试在 hdfs 的“new_edureka”目录中创建一个名为“sample”的文件，文件大小为 0 字节。

5、du

HDFS 命令检查文件大小。 

用法： hdfs dfs –du –s /directory/filename

命令： hdfs dfs –du –s / new_edureka / sample

6、cat

HDFS 命令读取 HDFS 上的文件并将该文件的内容打印到标准输出。

用法：  hdfs dfs –cat /path/to/file_in_hdfs

命令： hdfs dfs –cat /new_edureka/test

7、text

HDFS 命令获取源文件并以文本格式输出文件。

用法： hdfs dfs –text /directory/filename

命令： hdfs dfs –text /new_edureka/test

8、copyFromLocal

HDFS 命令将文件从本地文件系统复制到 HDFS。

用法： hdfs dfs -copyFromLocal <localsrc> <hdfs destination> 

命令： hdfs dfs –copyFromLocal /home/edureka/test /new_edureka

注意： 这里测试的是本地目录/home/edureka中的文件，命令执行后测试文件将被复制到HDFS的/new_edureka目录中。

9、copyToLocal

HDFS 命令将文件从 HDFS 复制到本地文件系统。

用法： hdfs dfs -copyToLocal <hdfs source> <localdst>

命令：  hdfs dfs –copyToLocal /new_edureka/test /home/edureka

注意：这里的 test 是 HDFS 的 new_edureka 目录下的一个文件，执行命令后，test 文件将被复制到本地目录 /home/edureka

10、put

HDFS 命令将单个源或多个源从本地文件系统复制到目标文件系统。

用法：  hdfs dfs -put <localsrc> <destination>

命令： hdfs dfs –put /home/edureka/test /user

注意：  命令 copyFromLocal 类似于 put 命令，不同之处在于源仅限于本地文件引用。

11、get

HDFS 命令将文件从 hdfs 复制到本地文件系统。

用法： hdfs dfs -get <src> <localdst>

命令： hdfs dfs –get /user/test /home/edureka

注意：命令 copyToLocal 类似于 get 命令，不同之处在于目标仅限于本地文件引用。

12、count

HDFS 命令计算路径下与指定文件模式匹配的目录、文件和字节数。

用法：hdfs  dfs -count <path>

命令： hdfs dfs –count /user

13、rm

HDFS 命令从 HDFS 中删除文件。

用法： hdfs dfs –rm <路径>     

命令：  hdfs dfs –rm /new_edureka/test

14、rm -r

HDFS 命令从 HDFS 中删除整个目录及其所有内容。

用法：hdfs dfs -rm -r <路径>

命令： hdfs dfs -rm -r /new_edureka

15、cp

HDFS 命令将文件从源复制到目标。此命令也允许多个源，在这种情况下，目标必须是目录。

用法： hdfs dfs  -cp <src> <dest>

命令： hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2

命令： hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir  

16、mv

HDFS 命令将文件从源移动到目标。此命令也允许多个源，在这种情况下，目标需要是一个目录。

用法：  hdfs dfs -mv <src> <dest>

命令：  hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2

17、expunge

HDFS 命令使垃圾清空。

命令： hdfs  dfs  -expunge

18、rmdir

HDFS 命令删除目录。

用法： hdfs dfs -rmdir  <路径>

命令： hdfs dfs –rmdir /user/hadoop

19、usage

HDFS 命令返回单个命令的帮助。

用法： hdfs dfs -usage <command>

命令： hdfs dfs -usage mkdir

注意：通过使用 usage 命令，您可以获得有关任何命令的信息。

10、help

HDFS 命令显示给定命令或所有命令（如果未指定）的帮助。

命令： hdfs dfs -help

HDFS 命令博客到此结束，我希望它能够提供信息并且您能够执行所有命令。有关更多 HDFS 命令，您可以在此处参考 Apache Hadoop 文档。