Presto适配GaussDB开源验证任务心得
首先先看下任务计划书 ,大概了解了下这个任务的主要工作是完成 Presto查询引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉Presto的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。
开发过程
首先参考任务计划书给的参考资料: https://prestodb.io/ 。 把官网看了下。 官网上是支持很多数据库类型,我采用下载服务端和客户端的tar.gz包,然后上传到ecs上部署安装,首先依赖的环境有java和python,对应的版本如下:java和python安装过程很简单不再赘述:
2.上传对应的server和cli的包到ECS部署安装
服务端和客户端下载相同版本的jar包
https://mirrors.huaweicloud.com/artifactory/maven-public/com/facebook/presto/presto-cli/
https://mirrors.huaweicloud.com/artifactory/maven-public/com/facebook/presto/presto-server/
本次presto安装选择的版本是 ../0.288
把jar上传到ECS对应的目录上去,解压server的jar包,然后把cli包copy到server的bin目录下,并添加可执行权限
添加文件夹以及文件内容:
在 /devDir/soft/presto/presto-server-0.288/etc/catalog 添加文件内容如下:
connector.name=postgresql
connection-url=jdbc:postgresql://xxxx:8000/gs_all_userbase?sslmode=disable
connection-user=xxxx
connection-password=xxxx
/devDir/soft/presto/presto-server-0.288/etc添加4个文件内容如下:
config.properties文件:
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8083
query.max-memory=1GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://124.71.65.28:8083
jvm.config文件:
-server
-Xmx4G
-Djdk.attach.allowAttachSelf=true
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExitOnOutOfMemoryError
log.properties文件:
com.facebook.presto=INFO
node.properties文件:
node.id=node-1
最后到 ../bin中启动运行 launcher,待启动成功后再启动客户端
服务端启动: ./launcher run
客户端启动:./presto-cli-0.288-executable.jar --server 124.71.65.28:8083 --catalog gauss --schema gs_all_userbase
下面就可以进行查询写数据操作:
开发总结
本任务适配本身并不复杂,需要细心配置文件,尤其是是数据库连接配置信息要准确。同时server和cli端版本号要选择一致的(例如我的server和cli的版本都是选择的0.288)。
- 点赞
- 收藏
- 关注作者
评论(0)