【大数据技术基础 | 实验一】配置SSH免密登录

一、实验目的

1. 熟悉大数据实验一体机并了解如何搭建集群；
2. 熟悉Linux基本命令；
3. 掌握vi编辑器的使用；
4. 了解SSH免密登录的原理以及为何需要配置SSH免密登录；
5. 掌握如何配置SSH免密登录。

二、实验要求

1. 连接OpenVPN，能够通过Xshell成功SSH登录至分配到的3台服务器上
2. 完成master到master、slave1-2的免密登录
3. 完成slave1到master、slave2的免密登录
4. 完成slave2到master、slave1的免密登录

三、实验原理

（一）大数据实验一体机

  随着移动互联网、云计算、物联网的快速发展，特别是智能手机端博客、社交网络、位置服务（LBS）等信息发布方式的不断涌现，数据正以较快的速度在不断地增长和累积，大数据时代已经来到。在海量数据面前，大数据人才无疑是其中关键环节之一，然而，不论国内外，大数据人才却紧缺相当稀缺，比如，当前我国数据人才缺口高达150万，而在未来5-10年，随着市场规模不断增加，这一缺口还将不断增加。

  然而，在创新探索大数据教学面前，高校却碰到了一系列困难，如大部分高校大数据课程体系并不完善，在实验环节，由于缺乏实验设备，大数据实训案例匮乏、实验难开展。针对大数据专业建设的三大难题，云创大数据为各大高校量身定制了大数据软硬件一体化的教学科研平台——大数据实验一体机。大数据实验一体机通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。

  此外，作为一个可供大量学生完成大数据与云计算实验的集成环境，该平台同步提供了配套的培训服务，对于教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据与云计算的教学、实验与科研。具体而言，大数据实验一体机从以下三个方面解决了高校大数据的教学科研难题：

（1）完整的大数据课程体系及配套资源，一步解决入门难内容充实的课程体系
  在《实战Hadoop2.0——从云计算到大数据》和实验手册的指导之下，大数据实验一体机解决方案涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。综合36个大数据实验的实验手册及配套高清视频课程，涵盖原理验证、综合应用、自主设计及创新的多层次实验内容。每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导。配套相应的实验数据和高清视频课程，参照手册即可轻松完成每个实验。国内专业领域数一数二的网站——中国大数据、中国云计算、中国存储等提供全线支持，一网打尽各类优质资源。

（2）安全可靠的实验环境，大幅度提升大数据技能
  基于Docker容器技术，大数据实验一体机可瞬间创建随时运行的实验环境。使用几台机器即可虚拟出大量实验集群，方便上百学生同时使用。采用Kubernetes+ZooKeeper架构管理集群，实验集群完全隔离。实验环境互不干扰，如果实验环境破坏，一键重启即可建立新集群。内置数据挖掘等教学实验数据，可导入高校各学科数据进行教学、科研，校外培训机构同样适用。

（3）热门实战项目贯穿始终，进一步提高教学效果与就业率
  大数据实验一体机解决方案采用理论与实践相结合的人才培养模式，帮助教师提高教学水平，促使学生完善大数据知识体系。基于真实的企业基地实训经验，提供丰富的项目实训案例。结合高校各专业实际情况进行行业数据研究，培养实用型人才的专业项目能力。

（4）更多潜在效益，同步增强高校的硬实力和影响力
  大数据上升为国家战略，发改委明确组建13个大数据实验室，大数据实验一体机有助于高校大数据实验室建设以及高层次大数据人才的深度培育。大数据实验一体机解决方案将理论与实践双管齐下，帮助提升了高校信息化管理水平和实验项目研究水平。大数据产业迎来发展黄金期，以大数据实验一体机提高大数据专业就业率，可进一步增强高校的硬实力和影响力。

  在2016年暑期全国高校大数据培训中，云创大数据利用大数据实验一体机搭建了Docker容器云，为每个学员分配5套虚拟服务器集群，为其提供了简洁易用的上机操作环境，得到了学员的一致好评。在理论讲解的基础上，讲师通过这一实践平台，为学员提供每一步的操作指导，真正做到了学思结合、知行统一，所有学员的大数据应用能力均得以提升，并获得了相应的大数据能力等级证书。大数据实验一体机基本操作主要包括账号管理、集群管理、集群登录和辅助功能四大部分，其中账号管理完成新建和销毁用户账号，集群管理完成新建和销毁集群，集群登录指的是通过SSH登录到集群各机器，辅助功能模板提供了部分软件下载等实用小功能。

  输入本校大数据实验一体机网址后，请输入相应账号与密码，点击登录即可。如图所示。

  相关下载：大数据实验一体机的相关下载界面提供了实验所需的软件及插件的下载，为避免软件版本不同导致实验环境配置错误，请尽量下载和使用此处指定的软件版本与插件。

（二）SSH免密认证

  实验中，我们需要从实验室机器登录到集群中的Linux服务器上，而绝大多数Linux服务器采用的是SSH（Secure Shell）登录方式，因此，我们需要在实验室机器上安装一个SSH登录工具。常用的SSH工具包括XShell、Secure CRT、putty等，大数据实验一体机的相关下载界面中提供了XShell工具的下载。

  Hadoop的基础是分布式文件系统HDFS，HDFS集群有两类节点以管理者-工作者的模式运行，即一个namenode（管理者）和多个datanode（工作者）。在Hadoop启动以后，namenode通过SSH来启动和停止各个节点上的各种守护进程，这就需要在这些节点之间执行指令时采用无需输入密码的认证方式，因此，我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。如图所示。

四、实验环境

云创大数据实验平台

五、实验内容和步骤

（一）搭建集群服务器

使用自己的账号密码登录大数据实验一体机，进入实验界面。点击启动，等待集群建立完成。

（二）添加域名映射

系统搭建好的集群服务器已经完成修改主机名、关闭防火墙、安装JDK、同步时钟四步操作，为了可以安装大数据组件，还需为所有机器添加域名映射。

使用SSH工具登录到master服务器，使用vi命令编辑/etc/hosts文件：

vi /etc/hosts

在文件的末尾追加写入如下三行（具体的IP地址请替换为实际集群服务器内部IP）。编辑完成之后按ESC键退出编辑，然后输入命令:wq保存并退出即可，master服务器的域名映射即添加完成，使用cat命令查看/etc/hosts文件。

然后依次登录slave1~2服务器，重复该操作。

（三）配置SSH免密登录

1. 生成master服务器密钥

执行命令ssh-keygen，生成master服务器密钥。

ssh-keygen

2. 手工确认是否已生成公私钥

ls -all .ssh/

通过命令ls -all .ssh查看到，SSH密钥文件夹.ssh目录下的确生成了两个文件id_rsa和id_rsa_pub，这两个文件都有用，其中公钥用于加密，私钥用于解密。中间的rsa表示算法为RSA算法。

3. 拷贝master服务器公钥至master、slave1~2

执行命令ssh-copy-id，将master服务器公钥拷贝至master、slave1~2。第一次连接slave1~2时，需要输入yes来确认建立授权的主机名访问，并需要输入root用户密码来完成公钥文件传输。

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

这里的slave1~2也可以用对应的IP地址替代。前提是已经做好了域名映射。

然后依次登录slave1~2服务器，重复该操作。

4. 验证master服务器SSH免密登录master、slave1~2

ssh master
ssh slave1
ssh slave2

然后退出的话直接使用命令exit即可退出。

然后依次登录slave1~2服务器，重复该操作。按照同样的方式配置SSH免密登录，完成后验证是否可以互相之间实现SSH免密登录。

六、实验结果

验证slave1服务器SSH免密登录master、slave1~2：

验证slave2服务器SSH免密登录master、slave1~2：

七、实验心得

  通过配置SSH免密登录，避免了每次登录时输入密码的繁琐过程，同时也减少了密码泄露的风险。公钥和私钥的加密方式保证了数据传输的安全性。免密登录极大地方便了日常运维工作，提高了工作效率。特别是在需要频繁登录远程服务器的情况下，免密登录显得尤为重要。在配置过程中，需要注意文件权限的设置。如果遇到无法免密登录的问题，可以检查SSH日志以获取更多信息。

  通过实验，加深了对SSH协议和公钥认证机制的理解。掌握了配置SSH免密登录的具体步骤和注意事项。提高了实际操作能力和解决问题的能力。在未来的工作中，可以更加自信地应用SSH免密登录技术，提高运维效率。也可以将这项技术应用到其他需要安全、便捷登录的场景中，如自动化脚本执行、远程备份等。

  综上所述，配置SSH免密登录是一项非常有用的技能，它不仅提高了工作效率，还增强了系统的安全性。通过本次实验，我深刻体会到了这项技术的重要性和实用性。