在Linux中部署集群(零基础速学!)
博主上篇的文章讲的是伪分布式部署,那么接下来进行分布时的教学,先从搭建集群开始,为分布式开发环境做准备。
1. 克隆虚拟机
在这里我们直接克隆[Centos版]Hadoop运行环境的具体搭建过程(超详细)
这篇文章中的快照
快照很有必要,如果不知道怎样打快照的同学在虚拟机关机后,右键虚拟机->快照->快照管理器
- 1. 选择要克隆的快照
- 2. 选择完整克隆
- 3. 克隆后
2. 更改系统的mac地址
为什么要改mac地址呢?
因为每个机器的mac地址都是独一无二的,但是克隆的机器会有两个,需要删除掉原有的mac地址
[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules
- 1
3. 更改网卡信息
[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
# 我自己的网卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
怎样判断自己修改是否成功:ifconfig
4. 更改主机名
[root@hadoop001 ~]# vim /etc/sysconfig/network
- 1
- 2
5. 添加别名
[root@hadoop001 ~]# vim /etc/hosts
# 下面为博主本人设的别名,别名设置尽量相似,这样后面会很方便
192.168.2.112 hadoop002
192.168.2.113 hadoop003
192.168.2.114 hadoop004
- 1
- 2
- 3
- 4
- 5
- 6
6. 关闭防火墙
内网环境安全性比较高,开启防火墙会影响效率,所以需要关闭防火墙
# 查看防火墙的状态
service iptables status # 启动防火墙的服务
service iptables start # 关闭防火墙服务
service iptables stop
# 彻底关闭防火墙
chkconfig iptables off
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
7. 关闭selinux
[root@hadoop001 桌面]# vim /etc/selinux/config
- 1
- 下面需要重启,才能使以上的所有修改生效
8. SCP远程文件拷贝
scp(secure copy)安全拷贝
scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
基本语法:
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
# 拷贝文件
# 将hadoop101中/etc/profile文件拷贝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile
# 拷贝文件夹
# 在hadoop101上,将hadoop101中/opt/module目录下的软件拷贝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module root@hadoop002:/opt/module
注意:拷贝过来的/opt/module目录,别忘了在hadoop002、hadoop003、hadoop004上修改所有文件的,所有者和所有者组。sudo chown bigdata:bigdata -R /opt/module
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
9. SSH 远程登录
1. 基于密码的登录
命令 | 含义 |
---|---|
ssh ip地址 | 远程登录到指定服务器 |
首次远程登录会询问yes/on ,以后就不会出现了
2. 无密钥配置(免密登录)
- 1.
ssh-keygen -t rsa
+ 三个回车 在hadoop002,hadoop003,hadoop004上面分别执行命令,产生公钥和私钥 - 2.
ssh-copy-id hadoop002
将公钥拷贝到hadoop002上面去,以此类推,全部拷贝完毕
配置完成后,就可以免密登录了
注意:
① 第一次拷贝的时候需要输入密码,另外在拷贝除了自身虚拟机公钥的时候,需要在root账号下进行
②想要查看当前虚拟机能够被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys
10. 总结
搭建集群的过程很繁琐,并且稍有不慎就不会出错,所以各位小伙伴们需要多多练习,熟能生巧。
各位路过的朋友,如果觉得可以学到些什么的话,点个赞再走吧,欢迎各位路过的大佬评论,指正错误,也欢迎有问题的小伙伴评论留言,私信。每个小伙伴的关注都是本人更新博客的动力!!!
文章来源: buwenbuhuo.blog.csdn.net,作者:不温卜火,版权归原作者所有,如需转载,请联系作者。
原文链接:buwenbuhuo.blog.csdn.net/article/details/105653464
- 点赞
- 收藏
- 关注作者
评论(0)