MapReduce快速入门系列(3) | jar包如何在集群上测试

举报
不温卜火 发表于 2020/12/02 23:57:53 2020/12/02
【摘要】 上一篇博客《什么是MapReduce(入门篇) 》讲的是WordCount案例在本地的实际操作,这篇讲述的是在集群上的操作过程。 目录 1. 添加打包插件依赖2. 将程序打成jar包,然后拷贝到Hadoop集群中2.1 打包过程2.2 修改不带依赖的jar包名称为wc.jar,并拷贝该jar包到Hadoop集群。 3. 执行WordCount程序...

上一篇博客《什么是MapReduce(入门篇)
》讲的是WordCount案例在本地的实际操作,这篇讲述的是在集群上的操作过程。


1. 添加打包插件依赖

用maven打jar包,需要添加的打包插件依赖

  • 1. 代码
<build>
		<plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>2.3.2</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <artifactId>maven-assembly-plugin </artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest>
		<mainClass>com.atguigu.mr.WordcountDriver</mainClass>  // 此处要换成自己工程的名字 </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin>
		</plugins>
	</build>


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 2. 过程
    1
    注意:如果工程上显示红叉。在项目上右键->maven->update project即可。

2. 将程序打成jar包,然后拷贝到Hadoop集群中

步骤详情:右侧Maven->Lifecycle->package。等待编译完成就会在项目的target文件夹中生成jar包。如果看不到。在项目上右键-> Refresh,即可看到。

2.1 打包过程

  • 1. 开始打包

2

  • 2. 打包完成
    3

2.2 修改不带依赖的jar包名称为wc.jar,并拷贝该jar包到Hadoop集群。

4

3. 执行WordCount程序

[bigdata@hadoop001 hadoop-2.7.2]$ hadoop fs -copyFromLocal hello.txt /user/input

[bigdata@hadoop001 hadoop-2.7.2]$ hadoop jar wc.jar com.buwenbuhuo.wordcount.WcDriver /user/bigdata/input /user/bigdata/output



  
 
  • 1
  • 2
  • 3
  • 4
  • 5

5
运行完成后进行下载查看:
6
7
如果出现问题了不要慌,慢慢来,博主本人刚开始也是踩了无数的坑,奥里给干就完了!


本期的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言~,博主会持续更新新鲜好玩的技术,喜欢的小伙伴们不要忘了点赞,记得要关注博主呐ヾ(◍°∇°◍)ノ゙。

文章来源: buwenbuhuo.blog.csdn.net,作者:不温卜火,版权归原作者所有,如需转载,请联系作者。

原文链接:buwenbuhuo.blog.csdn.net/article/details/105695307

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。