FusionInsight测试系列之:基于TPCDS的河图SQL兼容性测试
【摘要】 基于TPCDS工具测试河图的SQL兼容性
说明:如果Hive中已有TPCDS测试的样例数据,第一章节和第二章节可以不执行
附件工具适用版本:FusionInsight HD 8.0.2
一、配置TPCDS-Connector
默认河图引擎中没有配置tpcdc的connector,可以参考开源presto的做法,将该connector加入之后获取tpcds相关的表结构
通过FI客户端上传tpcds-connector的配置文件到HDFS,配置文件
tpcds.properties
内容为connector.name = tpcds
配置Hetu的外部数据源,相关命令参考如下
source /opt/client/bigdata_env
kinit admintest
hdfs dfs -mkdir /user/hetuserver/fiber/catalog/tpcds
hdfs dfs -put -f tpcds.properties /user/hetuserver/fiber/catalog/tpcds
hdfs dfs -chown -R hetuserver:hadoop /user/hetuserver/fiber/catalog
3. 重启河图服务,重新创建presto集群
4. 检查tpcds的connector是否生效
二、构造测试数据
通过附件的压缩包获取generate_schema.sh脚本,使用说明如下
三、执行TPCDS查询测试
通过附件的压缩包获取 execute_query.sh脚本,使用说明如下
查看查询结果:
在工具目录下的log文件夹中会创建 数据源与schema的日志文件夹,例如 hive_tpcds_orc_1
在该目录下根据执行时间对应的日志文件说明:
query_*.log 执行查询的进度日志
result_* 该目录下返回执行SQL的结果数据
time_*.log 执行SQL的耗时,单位以毫秒记录
其他说明
tpcds执行的SQL文件全部取自开源presto,链接为
这些SQL文件在Hetu命令行中执行时需要在最后补充一个分号,脚本中已添加,如果需要将这些SQL用于其他查询时请注意
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论(0)