Hadoop学习之以伪分布模式部署Hadoop及常见问题

举报
格图洛书 发表于 2021/12/30 02:01:38 2021/12/30
【摘要】 Hadoop既可以以单机模式运行,也可以以伪分布模式运行,这两种模式都是为了使用者方便学习和调试Hadoop,要想发挥Hadoop分布式、并行处理的优势,还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行,伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker...

        伪分布模式和分布式模式除了上述的不同之处外,在配置上伪分布模式要简单的多,只需要修改core-site.xml、hdfs-site.xml、mapred-site.xml即可,而分布式模式则还需要配置masters和slaves等文件。在管理上,显然伪分布模式也要简单很多,毕竟只有一个节点,而分布式模式则至少存在两个节点,当节点数量很多时,Hadoop的复杂性也会相应的提高。

        这篇文章主要介绍了以为分布式模式部署和运行Hadoop的一些细节及出现的问题,部署单节点的Hadoop相对容易些,但总是会出现这样那样的问题。首先按照官方文档的说明对core-site.xml、hdfs-site.xml、mapred-site.xml做相应的修改,具体的url为http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html#PseudoDistributed。因为之前曾经学过Hadoop,所以在修改配置文件时不是完全按照

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/25237391

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。