在Linux中部署集群(零基础速学!)

举报
不温卜火 发表于 2020/12/02 22:44:32 2020/12/02
【摘要】 博主上篇的文章讲的是伪分布式部署,那么接下来进行分布时的教学,先从搭建集群开始,为分布式开发环境做准备。 目录 1. 克隆虚拟机2. 更改系统的mac地址3. 更改网卡信息4. 更改主机名5. 添加别名6. 关闭防火墙7. 关闭selinux8. SCP远程文件拷贝9. SSH 远程登录1. 基于密码的登录2. 无密钥配置(免密登录) 10. 总...

博主上篇的文章讲的是伪分布式部署,那么接下来进行分布时的教学,先从搭建集群开始,为分布式开发环境做准备。


1. 克隆虚拟机

在这里我们直接克隆[Centos版]Hadoop运行环境的具体搭建过程(超详细)
这篇文章中的快照
快照很有必要,如果不知道怎样打快照的同学在虚拟机关机后,右键虚拟机->快照->快照管理器
1

  • 1. 选择要克隆的快照
    2
  • 2. 选择完整克隆
    3
  • 3. 克隆后
    4

2. 更改系统的mac地址

为什么要改mac地址呢?
因为每个机器的mac地址都是独一无二的,但是克隆的机器会有两个,需要删除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules 

  
 
  • 1

5
6

3. 更改网卡信息

[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

#  我自己的网卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

7
怎样判断自己修改是否成功:ifconfig
8

4. 更改主机名

[root@hadoop001 ~]# vim /etc/sysconfig/network


  
 
  • 1
  • 2

9

5. 添加别名

[root@hadoop001 ~]# vim /etc/hosts

# 下面为博主本人设的别名,别名设置尽量相似,这样后面会很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

10

6. 关闭防火墙

内网环境安全性比较高,开启防火墙会影响效率,所以需要关闭防火墙

#  查看防火墙的状态
service iptables status #  启动防火墙的服务
service iptables start #  关闭防火墙服务
service iptables stop

#  彻底关闭防火墙
chkconfig iptables off

  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

7. 关闭selinux

[root@hadoop001 桌面]# vim /etc/selinux/config 

  
 
  • 1

11

  • 下面需要重启,才能使以上的所有修改生效

8. SCP远程文件拷贝

scp(secure copy)安全拷贝
scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

基本语法:
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令   递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

# 拷贝文件
# 将hadoop101中/etc/profile文件拷贝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile


# 拷贝文件夹
# 在hadoop101上,将hadoop101中/opt/module目录下的软件拷贝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module

注意:拷贝过来的/opt/module目录,别忘了在hadoop002、hadoop003、hadoop004上修改所有文件的,所有者和所有者组。sudo chown bigdata:bigdata -R /opt/module


  
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

9. SSH 远程登录

1. 基于密码的登录

命令 含义
ssh ip地址 远程登录到指定服务器

12
首次远程登录会询问yes/on ,以后就不会出现了

2. 无密钥配置(免密登录)

  • 1. ssh-keygen -t rsa+ 三个回车 在hadoop002,hadoop003,hadoop004上面分别执行命令,产生公钥和私钥
  • 2. ssh-copy-id hadoop002将公钥拷贝到hadoop002上面去,以此类推,全部拷贝完毕

配置完成后,就可以免密登录了
13

注意:
① 第一次拷贝的时候需要输入密码,另外在拷贝除了自身虚拟机公钥的时候,需要在root账号下进行
14
②想要查看当前虚拟机能够被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys
15

10. 总结

搭建集群的过程很繁琐,并且稍有不慎就不会出错,所以各位小伙伴们需要多多练习,熟能生巧。


各位路过的朋友,如果觉得可以学到些什么的话,点个赞再走吧,欢迎各位路过的大佬评论,指正错误,也欢迎有问题的小伙伴评论留言,私信。每个小伙伴的关注都是本人更新博客的动力!!!

文章来源: buwenbuhuo.blog.csdn.net,作者:不温卜火,版权归原作者所有,如需转载,请联系作者。

原文链接:buwenbuhuo.blog.csdn.net/article/details/105653464

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。