FusionInsight测试系列之:NameNode随机写性能测试

举报
suwei 发表于 2020/10/31 14:50:40 2020/10/31
【摘要】 基于开源社区NNBench工具测试NameNode随机写性能

1. 支持版本

FusionInsight HD 6.5.1

2. 工具获取

工具名称: NNBench

该工具基于开源社区获取,为两个jar包文件:hadoop-common-3.1.1-tests.jar 与 hadoop-mapreduce-client-jobclient-3.1.1-tests.jar

下载地址:

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/3.1.1/

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-jobclient/3.1.1/

3. 测试步骤

3.1 前置条件

  1. FI集群安装为安全模式,且运行正常

  2. HDFS、MapReduce、Yarn服务正常

  3. 已于linux环境安装集群客户端

  4. 已配置具有HDFS\Yarn访问权限的用户,例如用户名poc,并对poc用户有对应的Yarn资源分配

3.2 测试过程

  1. 【可选】参考产品文档中”规划HDFS容量“部分,修改GC_OPTS的参数;

  2. 修改HDFS如下配置项,重启服务

    dfs.namenode.handler.count : 512

    dfs.datanode.handler.count : 128

     ipc.server.handler.queue.size : 200

    dfs.namenode.fs-limits.max-directory-items : 6400000

  3. 修改Yarn配置项,重启服务

    yarn.nodemanager.resource.cpu-vcores  根据实际节点的CPU核数修改

    yarn.nodemanager.resource.memory-mb   根据实际节点的内存修改

  4. 修改租户资源池中配置的 Maximum AM Resource Percent 为 0.9

  5. 将测试工具解压缩后上传到客户端,如果客户端安装在/opt/client目录下,那么工具上传的路径为/opt/client/HDFS/hadoop/share/hadoop/mapreduce/

  6. 执行安全认证

  7. 启动测试

yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.1-tests.jar nnbench  \
-operation create_write \ 
-maps 10 \ 
-reduces 2 \
-bytesToWrite 1 \
-numberOfFiles 100 \
-blockSize 1048576 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks1/NNBench

参数说明:

-maps 指定MR任务的map数,必须保证map数都在同一轮并发中,否则结果计算有误
-reduces指定MR任务的reduce数,结果汇总,可写一个比较小的数字,不影响结果
-bytesToWrite创建文件的实际大小
-numberOfFiles每个map任务创建的文件数
-blockSize文件块的大小,默认是128MB,这里取1048576字节为1MB
-replicationFactorPerFile文件副本数
-readFileAfterOpen是否读取文件
-baseDir创建的HDFS上的路径

3.3 查看测试结果

测试完毕,参考当前目录下的 NNBench_results.log 文件内容获取Namenode处理性能数据

image.png



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。