FusionInsight测试系列之:基于TPCDS的河图SQL兼容性测试
说明:如果Hive中已有TPCDS测试的样例数据,第一章节和第二章节可以不执行
附件工具适用版本:FusionInsight HD 8.0.2
一、配置TPCDS-Connector
默认河图引擎中没有配置tpcdc的connector,可以参考开源presto的做法,将该connector加入之后获取tpcds相关的表结构
通过FI客户端上传tpcds-connector的配置文件到HDFS,配置文件
tpcds.properties
内容为connector.name = tpcds
配置Hetu的外部数据源,相关命令参考如下
source /opt/client/bigdata_env
kinit admintest
hdfs dfs -mkdir /user/hetuserver/fiber/catalog/tpcds
hdfs dfs -put -f tpcds.properties /user/hetuserver/fiber/catalog/tpcds
hdfs dfs -chown -R hetuserver:hadoop /user/hetuserver/fiber/catalog
3. 重启河图服务,重新创建presto集群
4. 检查tpcds的connector是否生效
二、构造测试数据
通过附件的压缩包获取generate_schema.sh脚本,使用说明如下
三、执行TPCDS查询测试
通过附件的压缩包获取 execute_query.sh脚本,使用说明如下
查看查询结果:
在工具目录下的log文件夹中会创建 数据源与schema的日志文件夹,例如 hive_tpcds_orc_1
在该目录下根据执行时间对应的日志文件说明:
query_*.log 执行查询的进度日志
result_* 该目录下返回执行SQL的结果数据
time_*.log 执行SQL的耗时,单位以毫秒记录
其他说明
tpcds执行的SQL文件全部取自开源presto,链接为
这些SQL文件在Hetu命令行中执行时需要在最后补充一个分号,脚本中已添加,如果需要将这些SQL用于其他查询时请注意
- 点赞
- 收藏
- 关注作者
评论(0)