大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day01】——Hadoop和Linux

前言

大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，正值金三银四的春招
接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。

相信只要一路走来，日积月累，我们终会在最高处见。
以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！

Hadoop相关总结

1.2.1 Hadoop常用端口号
dfs.namenode.http-address:50070
dfs.datanode.http-address:50075
SecondaryNameNode辅助名称节点端口号：50090
dfs.datanode.address:50010
fs.defaultFS:8020 或者9000
yarn.resourcemanager.webapp.address:8088
历史服务器web访问端口：19888
1.2.2 Hadoop配置文件以及简单的Hadoop集群搭建
（1）配置文件：
core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves
（2）简单的集群搭建过程：
JDK安装
配置SSH免密登录
配置hadoop核心文件: 
格式化namenode

Linux&Shell相关总结

1.1.1 Linux常用命令
序号 命令 命令解释
1 top 查看内存
2 df -h 查看磁盘存储情况
3 iotop 查看磁盘IO读写(yum install iotop安装）
4 iotop -o 直接查看比较高的磁盘读写程序
5 netstat -tunlp | grep 端口号 查看端口占用情况
6 uptime 查看报告系统运行时长及平均负载
7 ps aux 查看进程
1.1.2 Shell常用工具
awk、sed、cut、sort

总结

今天我们复习了面试中常考的Hadoop和Linux相关的五个问题，你做到心中有数了么？
其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在面试期间尴尬！平时不流汗,面试多流泪!

对了，如果你的朋友也在准备面试，请将这个系列扔给他，
好了，今天就到这里，学废了的同学，记得在评论区留言：打卡。给同学们以激励。