Hadoop学习之以伪分布模式部署Hadoop及常见问题
【摘要】
Hadoop既可以以单机模式运行,也可以以伪分布模式运行,这两种模式都是为了使用者方便学习和调试Hadoop,要想发挥Hadoop分布式、并行处理的优势,还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行,伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker...
伪分布模式和分布式模式除了上述的不同之处外,在配置上伪分布模式要简单的多,只需要修改core-site.xml、hdfs-site.xml、mapred-site.xml即可,而分布式模式则还需要配置masters和slaves等文件。在管理上,显然伪分布模式也要简单很多,毕竟只有一个节点,而分布式模式则至少存在两个节点,当节点数量很多时,Hadoop的复杂性也会相应的提高。
这篇文章主要介绍了以为分布式模式部署和运行Hadoop的一些细节及出现的问题,部署单节点的Hadoop相对容易些,但总是会出现这样那样的问题。首先按照官方文档的说明对core-site.xml、hdfs-site.xml、mapred-site.xml做相应的修改,具体的url为http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html#PseudoDistributed。因为之前曾经学过Hadoop,所以在修改配置文件时不是完全按照
文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。
原文链接:wenyusuran.blog.csdn.net/article/details/25237391
【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)