FusionInsight测试系列之：NameNode随机写性能测试

1. 支持版本

FusionInsight HD 6.5.1

2. 工具获取

工具名称： NNBench

该工具基于开源社区获取，为两个jar包文件：hadoop-common-3.1.1-tests.jar 与 hadoop-mapreduce-client-jobclient-3.1.1-tests.jar

下载地址：

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/3.1.1/

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-jobclient/3.1.1/

3. 测试步骤

3.1 前置条件

1. FI集群安装为安全模式，且运行正常

2. HDFS、MapReduce、Yarn服务正常

3. 已于linux环境安装集群客户端

4. 已配置具有HDFS\Yarn访问权限的用户，例如用户名poc，并对poc用户有对应的Yarn资源分配

3.2 测试过程

1. 【可选】参考产品文档中”规划HDFS容量“部分，修改GC_OPTS的参数；

2. 修改HDFS如下配置项，重启服务

   dfs.namenode.handler.count : 512
   

   dfs.datanode.handler.count : 128

    ipc.server.handler.queue.size : 200

   dfs.namenode.fs-limits.max-directory-items : 6400000
   

3. 修改Yarn配置项，重启服务

   yarn.nodemanager.resource.cpu-vcores  根据实际节点的CPU核数修改

   yarn.nodemanager.resource.memory-mb   根据实际节点的内存修改
   

4. 修改租户资源池中配置的 Maximum AM Resource Percent 为 0.9

5. 将测试工具解压缩后上传到客户端，如果客户端安装在/opt/client目录下，那么工具上传的路径为/opt/client/HDFS/hadoop/share/hadoop/mapreduce/

6. 执行安全认证

7. 启动测试

yarn jar /opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.1-tests.jar nnbench  \
-operation create_write \ 
-maps 10 \ 
-reduces 2 \
-bytesToWrite 1 \
-numberOfFiles 100 \
-blockSize 1048576 \
-replicationFactorPerFile 3 \
-readFileAfterOpen true \
-baseDir /benchmarks1/NNBench

参数说明：

-maps 指定MR任务的map数，必须保证map数都在同一轮并发中，否则结果计算有误
-reduces指定MR任务的reduce数，结果汇总，可写一个比较小的数字，不影响结果
-bytesToWrite创建文件的实际大小
-numberOfFiles每个map任务创建的文件数
-blockSize文件块的大小，默认是128MB，这里取1048576字节为1MB
-replicationFactorPerFile文件副本数
-readFileAfterOpen是否读取文件
-baseDir创建的HDFS上的路径

3.3 查看测试结果

测试完毕，参考当前目录下的 NNBench_results.log 文件内容获取Namenode处理性能数据