建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
1035213fnlks2fx6defuh6.jpg 云搜索服务CSS 钜惠专场 2020年华为云AI实战营 华为云普惠AI

姚明爱投三分球

发帖: 2粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2018-3-7 11:16:13 14492 1
直达本楼层的链接
楼主
显示全部楼层
[技术分享] YCSB与HBasePE测试工具的对比

测试HBase性能的主流工具有2种,分别是YCSB和HBase自带的PerformanceEvaluation(简称PE),2种工具的对比分析如下: 1.YCSB:最大的优势在于其支持多平台测试,当需要测试不同类型数据库性能对比时,为了统一测试工具,通常会选用YCSB 2.PE:最大的优势为HBase的原生测试工具,当HBase对客户端连接有优化时,PE会最早获得优化效果。而YCSB当前最新版本的hbase client还是基于HBase1.0.2版本,如果在1.0.2版本到1.3.0版本之间,HBase对客户端连接有相关优化时,YCSB享受不到优化效果。 至于其他的一些说法,例如: PE测试case及提供给外界的接口比YCSB更丰富,提供了RandomWrite,SequenceWrite,scan,randomSeekScan,scanRange10 ,scanRange100等说法,个人觉得其实并不准确。YCSB和PE都提供了丰富的可选配置,来模拟指定的用户业务模型。
YCSB的常用配置项说明请参考:https://github.com/brianfrankcooper/YCSB/wiki/Core-Properties
那为什么2款工具在默认配置下,测试性能结果会有很大的差异,PE会明显好于YCSB呢?
主要原因有2个:
1.写入流程不一样,PE使用了批量写HTable.put(List),而YCSB是使用基本的put接口。
批量写最大的好处是可以减少写入时建立网络连接的次数。
默认情况下,一次Put操作即要与Region Server执行一次RPC操作,其执行过程可以被拆分为以下三个部分:
T1:RTT(Round-Trip Time),即网络往返时延,它指从客户端发送数据开始,到客户端收到来自服务端的确认,总共经历的时延,不包括数据传输的时间;
T2:数据传输时间,即Put所操作的数据在客户端与服务端之间传输所消耗的时间开销,当数据量大的时候,T2的时间开销不容忽略;    T3:服务端处理时间,对于Put操作,即写入WAL日志(如果设置了WAL标识为true)、更新MemStore等。
其中,T2和T3都是不可避免的时间开销,那么能不能减少T1呢?List put将多次Put操作打包起来一次性提交到服务端,则可以将T1部分的总时间从T1 * N降低为T1,其中T1指的是单次RTT时间,N为Put的记录条数。假设都写入N条记录,PE的RTT为T1,YCSB的RTT为T1*N
可见,PE通过引入批量写入,来提升写入性能。但带来的劣势就是可靠性有所降低。
2.两种工具的默认业务模型不一样
我们以100%insert场景来说明该问题: 测试过程: 1.使用YCSB和PE分别**10000行数据,每行数据1000B 2.扫描**数据,结果如下: YCSB**数据的scan结果 PE**数据的scan结果: 可以看到,二者的默认数据模型有很大差异: YCSB:1行有1个ColumnFamily,包含了10个Column,每个Column长度为100B。 PE:1行有1个ColumnFamily,包含了1个Column,每个Column长度为1000B。 这种情况下,YCSB没**1行数据,需要调用10次put kv的操作,而PE只需要调用1次,这应该就是测试相同集群时,PE性能明显优于YCSB的原因。 那么,有没有办法让二者的数据模型保持一致呢? 答案是肯定的,YCSB和PE都提供了灵活的接口来重新定义数据模型,例如: YCSB通过指定fieldlength和fieldcount分别指定column大小和column数量 PE也可以通过column参数指定column数量 总结: YCSB和PE都是优秀的性能测试工具,对于对比测试来说,只有统一测试工具和数据模型、业务模型才能测出有意义的对比数据。跨平台测试优先选择YCSB,只针对HBase进行测试,二者都可选,但PE相对简单,上手速度更快。
举报
分享

分享文章到朋友圈

分享文章到微博

建赟

发帖: 442粉丝: 28

级别 : 外部版主

发消息 + 关注

发表于2018-4-4 00:03:01
直达本楼层的链接
沙发
显示全部楼层

感谢分享

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册