FusionInsight测试系列之:基于TPCDS的河图SQL兼容性测试

举报
suwei 发表于 2020/10/31 15:45:15 2020/10/31
【摘要】 基于TPCDS工具测试河图的SQL兼容性

说明:如果Hive中已有TPCDS测试的样例数据,第一章节和第二章节可以不执行


附件工具适用版本:FusionInsight HD 8.0.2


一、配置TPCDS-Connector

默认河图引擎中没有配置tpcdc的connector,可以参考开源presto的做法,将该connector加入之后获取tpcds相关的表结构

  1. 通过FI客户端上传tpcds-connector的配置文件到HDFS,配置文件tpcds.properties内容为connector.name = tpcds

  2. 配置Hetu的外部数据源,相关命令参考如下

source /opt/client/bigdata_env

kinit  admintest 

hdfs dfs -mkdir /user/hetuserver/fiber/catalog/tpcds

hdfs dfs -put -f  tpcds.properties /user/hetuserver/fiber/catalog/tpcds

hdfs dfs -chown -R hetuserver:hadoop /user/hetuserver/fiber/catalog

   3. 重启河图服务,重新创建presto集群

   4. 检查tpcds的connector是否生效

image.png

二、构造测试数据

通过附件的压缩包获取generate_schema.sh脚本,使用说明如下

image.png

image.png

三、执行TPCDS查询测试

通过附件的压缩包获取 execute_query.sh脚本,使用说明如下

image.png

image.png

查看查询结果:

在工具目录下的log文件夹中会创建 数据源与schema的日志文件夹,例如 hive_tpcds_orc_1

在该目录下根据执行时间对应的日志文件说明:

query_*.log   执行查询的进度日志

image.png

result_*    该目录下返回执行SQL的结果数据

image.png

 time_*.log     执行SQL的耗时,单位以毫秒记录

image.png


其他说明

         tpcds执行的SQL文件全部取自开源presto,链接为

https://github.com/prestosql/presto/tree/master/presto-benchto-benchmarks/src/main/resources/sql/presto/tpcds

         这些SQL文件在Hetu命令行中执行时需要在最后补充一个分号,脚本中已添加,如果需要将这些SQL用于其他查询时请注意



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。