大数据面试题（二）：Hadoop的联邦机制核心高频面试题

举报
Lansonli 发表于 2022/12/12 21:41:18 2022/12/12
【摘要】 ​Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...

​Hadoop的联邦机制核心高频面试题

一、为什么会出现联邦

Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。


二、联邦的实现

采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。

如下图：

图中概念：

  • block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所有的pool，block pool之间的管理是独立的，一个namespace生成一个block id时不需要跟其它namespace协调，一个namenode的失败也不会影响到datanode对其它namenodes的服务。
  • 一个namespace和它的block pool作为一个管理单元，删除后，对应于datanodes中的pool也会被删除。集群升级时，这个管理单元也独立升级。
  • 这里引入clusterID来标示集群所有节点。当一个namenode format之后，这个id生成，集群中其它namenode的format也用这个id。


三、主要优点

1、命名空间可伸缩性——联合添加命名空间水平扩展。DN也随着NN的加入而得到拓展。

2、性能——文件系统吞吐量不是受单个Namenode限制。添加更多的Namenode集群扩展文件系统读/写吞吐量。

3、隔离——隔离不同类型的程序，一定程度上控制资源的分配。


四、配置

联邦的配置是向后兼容的，允许在不改变任何配置的情况下让当前运行的单节点环境转换成联邦环境。新的配置方案确保了在集群环境中的所有节点的配置文件都是相同的。

第一步：配置属性dfs.nameservices，用于datanodes们识别namenodes。

第二步：为每个namenode加入这个后缀。

conf/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1,ns2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1</name>
    <value>nn-host1:rpc-port</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1</name>
    <value>nn-host1:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address.ns1</name>
    <value>snn-host1:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns2</name>
    <value>nn-host2:rpc-port</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns2</name>
    <value>nn-host2:http-port</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address.ns2</name>
    <value>snn-host2:http-port</value>
  </property>
  .... Other common configuration ... 
</configuration>

五、操作

# 创建联邦，不指定ID会自动生成
 
$HADOOP_HOME/bin/hdfs namenode -format [-clusterId <cluster_id>]
 
# 升级Hadoop为集群
 
$HADOOP_HOME/bin/hdfs start namenode --config $HADOOP_CONF_DIR -upgrade -clusterId <cluster_ID>
 
# 扩展已有联邦
 
$HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes <datanode_host_name>:<datanode_rpc_port>
 
# 退出联邦
 
$HADOOP_HOME/sbin/distribute-exclude.sh <exclude_file>
 
$HADOOP_HOME/sbin/refresh-namenodes.sh
【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Hadoop 大数据
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入