Hadoop 文件系统操作

本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。

当前华为云集群 hadoop 命令存在于目录 

/opt/Bigdata/hadoop/hadoop/bin/hadoop 

1. 查看帮助

hadoop fs -help

2. 本地往集群拷贝文件： hadoop fs -put wallpaper.rar  /

[root@node-master1fguQ bin]# hadoop fs -put wallpaper.rar  /
20/05/28 10:20:24 INFO obs.OBSFileSystem: This Filesystem GC-ful, clear resource.

3.集群下载文件到本地：hadoop fs -get  /wallpaper.rar  /wallpaper_1.rar

[root@node-master1fguQ bin]# ./hadoop fs -get /wallpaper.rar /root/wallpaper_1.rar

[root@node-master1fguQ bin]# ls /root/
 wallpaper_1.rar

4. 查看集群文件：hadoop fs -ls /

[root@node-master1fguQ bin]# ./hadoop fs -ls /
Found 84 items
-rw-r--r--   1 root   ficommon 2082262385 2020-05-28 10:20 /wallpaper.rar

其他相关命令：

显示文件内容： hadoop fs -cat /tmp/file1.txt
创建目录：hadoop fs -mkdir /tmp/test
删除文件: hadoop fs -rm /tmp/file1.txt
移动文件：hadoop fs -mv /tmp/file1.txt /tmp/fil1_new.txt
显示文件大小：hadoop fs -du /tmp/file2.txt
创建文件：hadoop fs -touch /tmp/file3.txt

想查看Hadoop文件系统磁盘空间大小：

[root@node-master1fguQ bin]# ./hadoop fs -df -h
20/05/28 10:37:59 INFO obs.OBSFileSystem: This Filesystem GC-ful, clear resource.
Filesystem         Size     Used  Available  Use%
hdfs://hacluster  5.5 T  777.1 G      4.4 T   14%

清空Hadoop文件系统垃圾啊回收站文件：

[root@node-master1fguQ bin]# ./hadoop fs -rm -r .Trash
20/05/28 10:39:05 INFO obs.OBSFileSystem: This Filesystem GC-ful, clear resource.
Deleted .Trash

小结，总体来说和linux 文件系统操作类似， 命令加hadoop fs 前缀 , 此外命令前加 “-”