hadoop入门（六）：集群测试

一、上传文件到集群

hadoop103上传一个服务器的小文件：

hadoop fs -mkdir /input

  

 

  
1
 

刷新页面可以看到：

hadoop102试试：

hadoop fs -mkdir /test

  

 

  
1
 

刷新如下，还是可以的：

上传一个文件a.txt到test文件夹：

hadoop fs -put a.txt /test

  

 

  
1
 

如下：


再试试上传大文件：

 hadoop fs -put jdk-13.0.2_linux-x64_bin.tar.gz  /test

  

 

  
1
 

如下：


这里面实际只存储了一个链接，实际存储的数据在datanode节点

查看目录：

 hadoop fs -ls /

  

 

  
1
 

如下：

二、上传的文件存放位置

cd到数据的目录：

cd /home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current

  

 

  
1
 

如下：

其中数据就在BP-258424537-192.168.10.102-1661593286435中，cd进去：

 cd  BP-258424537-192.168.10.102-1661593286435、current/finalized/subdir0/subdir0

  

 

  
1
 

最终确定完整路径为：

/home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current/BP-258424537-192.168.10.102-1661593286435/current/finalized/subdir0/subdir0

  

 

  
1
 

如下：

blk_1073741825和blk_1073741825_1001.meta中就是相关文件。
文件的命名和命令行终端不同，命名规则是 “blk_”+ID，后面 .meta也是存储信息的描述

2.1 拼接

解压：

tar -zxvf tmp.tar.gz

  

 

  
1
 

查看路径：

pwd

  

 

  
1
 

即HDFS存储的文件就在：

/home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current/BP-258424537-192.168.10.102-1661593286435/current/finalized/subdir0/subdir0

  

 

  
1
 

2.2 执行程序

使用自带的wordcount测试：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar  wordcount /input /output

  

 

  
1
 

文章来源: chuanchuan.blog.csdn.net，作者：川川菜鸟，版权归原作者所有，如需转载，请联系作者。

原文链接：chuanchuan.blog.csdn.net/article/details/126560666