《进击大数据》系列教程之hdfs常用操作命令

目录

一、HDFS常用操作命令

二、HDFS文件恢复机制

三、hadoop的window本地安装

四、mapreduce 单元测试、集成测试及验证

一、HDFS常用操作命令

查看根目录下的文件

hadoop fs -ls  hdfs://master:9999/  或  hadoop  fs -ls  / 

 hadoop fs -ls -h hdfs://master:9999/  或  hadoop  fs -ls -h /      增加-h参数，使文件大小可读，-d 只显示目录  -R 递归显示目录及文件

创建目录 

hadoop fs -mkdir  hdfs://master:9999/user  或 hadoop fs -mkdir  /user

 创建多级目录

hadoop fs -mkdir -p  hdfs://master:9999/user/hadoop-twq/cmd  或 hadoop fs -mkdir -p  /user/hadoop-twq/cmd

 上传本地文件到hdfs中

hadoop fs -copyFromLocal -f  word.txt  /user/hadoop-twq/cmd

 hadoop fs -put word.txt  /user/hadoop-twq/cmd    如果文件已存在，则会报错，需要加上-f参数

 hadoop fs -put word.txt word2.txt  /user/hadoop-twq/cmd    批量上传，如果文件已存在，则会报错，需要加上-f参数

 查看文件内容

hadoop fs -cat /user/hadoop-twq/cmd/word.txt

以输入流的形式写入文件到hdfs

hadoop fs -put  -  /user/hadoop-twq/cmd/put.txt

this is

count

jjjs

按ctrl+D退出

下载文件到本地

hapood fs -get  /user/hadoop-twq/cmd/put.txt

创建文件

hadoop fs -touchz /user/hadoop-twq/cmd/flag.txt

修改文件权限

hadoop fs -chmod  744  /user/hadoop-twq/cmd/put.txt

hadoop fs -chmod 777 -R /user/hadoop-twq/cmd

以上命令都有对应的 hdfs  dfs 开头的命令一一对应。

其他命令：

hadoop fs -rm   /user/hadoop-twq/cmd/put.txt

二、HDFS文件恢复机制

fs.trash.interval = 3 （分钟）配置文件恢复机制

例如： 当我们在 /user/hadoop-twq/cmd 目录下删除文件后

被删除的文件会被转移到  /user/hadoop-twq/.Trash/Current/user/hadoop-twq/cmd 目录下，当超过3分钟之后，此处的文件也会被删除，也就是被永久删除无法恢复了。

文件恢复，直接拷贝回原目录即可。

hadoop  fs  -cp   /user/hadoop-twq/.Trash/Current/user/hadoop-twq/cmd   /user/hadoop-twq/cmd

如果我们想在开启了trash文件恢复机制的时候，仍然想立即删除 文件或目录 可以加 -skipTrash 参数

hadoop fs  -rm -r -skipTfrash  /user/hadoop-twq/cmd

三、hadoop的window本地安装

四、mapreduce 单元测试、集成测试及验证

数据准备

（1）气象数据

 isd-history 数据（只有一条数据）

文章来源: blog.csdn.net，作者：血煞风雨城2018，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/qq_31905135/article/details/111579900