Presto适配GaussDB开源验证任务心得

举报
yd_239286208 发表于 2024/11/30 10:31:49 2024/11/30
【摘要】 首先先看下任务计划书 ,大概了解了下这个任务的主要工作是完成 Presto查询引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉Presto的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料: https://prestodb.io/ 。 把官网看了下。 官网上是支持很多...

首先先看下任务计划书 ,大概了解了下这个任务的主要工作是完成 Presto查询引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉Presto架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。

开发过程

首先参考任务计划书给的参考资料: https://prestodb.io/ 。 把官网看了下。 官网上是支持很多数据库类型,我采用下载服务端和客户端的tar.gz包,然后上传到ecs上部署安装,首先依赖的环境有java和python,对应的版本如下:java和python安装过程很简单不再赘述:

2.上传对应的servercli的包到ECS部署安装

服务端和客户端下载相同版本的jar

https://mirrors.huaweicloud.com/artifactory/maven-public/com/facebook/presto/presto-cli/

https://mirrors.huaweicloud.com/artifactory/maven-public/com/facebook/presto/presto-server/

本次presto安装选择的版本是  ../0.288

jar上传到ECS对应的目录上去,解压serverjar包,然后把clicopyserverbin目录下,并添加可执行权限

添加文件夹以及文件内容:

/devDir/soft/presto/presto-server-0.288/etc/catalog 添加文件内容如下:

connector.name=postgresql

connection-url=jdbc:postgresql://xxxx:8000/gs_all_userbase?sslmode=disable

connection-user=xxxx

connection-password=xxxx

/devDir/soft/presto/presto-server-0.288/etc添加4个文件内容如下:

 

config.properties文件:

coordinator=true

node-scheduler.include-coordinator=true

http-server.http.port=8083

query.max-memory=1GB

query.max-memory-per-node=1GB

discovery-server.enabled=true

discovery.uri=http://124.71.65.28:8083

 

 jvm.config文件:

-server

-Xmx4G

-Djdk.attach.allowAttachSelf=true

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+UseGCOverheadLimit

-XX:+ExitOnOutOfMemoryError

 

log.properties文件:

com.facebook.presto=INFO


node.properties文件:

node.id=node-1

最后到  ../bin中启动运行 launcher,待启动成功后再启动客户端

服务端启动: ./launcher run

客户端启动:./presto-cli-0.288-executable.jar --server 124.71.65.28:8083 --catalog gauss --schema gs_all_userbase

 

下面就可以进行查询写数据操作:

开发总结

本任务适配本身并不复杂,需要细心配置文件,尤其是是数据库连接配置信息要准确。同时server和cli端版本号要选择一致的(例如我的server和cli的版本都是选择的0.288)。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。