Vaex适配GaussDB开源验证任务心得

举报
yd_239286208 发表于 2024/11/23 16:03:19 2024/11/23
【摘要】 Vaex适配GaussDB开源验证任务心得首先先看下任务计划书 https://bbs.huaweicloud.com/blogs/440284,大概了解了下这个任务的主要工作是完成 Vaex计算引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉vaex的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。先fo...

Vaex适配GaussDB开源验证任务心得

首先先看下任务计划书 https://bbs.huaweicloud.com/blogs/440284,大概了解了下这个任务的主要工作是完成 Vaex计算引擎连接GaussDB并且可以读可以写数据的验证工作。总体来讲不是很复杂,主要是需要花时间熟悉vaex的结构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。

fork一下DEMO代码

fork 到这个组织下面了:

https://gitcode.com/xizhou_0313/OpenSourceForHuaweiVaexPython/overview

开发过程

首先参考任务计划书给的参考资料: https://github.com/vaexio/vaex 。 把官网提供的原代码看了下, 并把关键的类信息拷贝过来。 官网采用的是读取文件系统 需要改为GaussDB。 我采用了psycopg2提供的  驱动。

1.采用的python和vaex版本如下:

说明:vaex对应的python版本使用不要超过3.10,vaex使用最新版本即可,版本匹配不对会出现安装错误:  Failed to build vaex-core

选用python=3.9,vaex=4.17安装成功

代码提交部署

 提价代码到对应的仓库后,按照 ecs部署运行项目。代码开发:详细见

https://gitcode.com/xizhou_0313/OpenSourceForHuaweiVaexPython/blob/main/demoapp/vaex_rw_for_gaussdb.py 文件

开发总结

由于本任务是一个python验证项目,使用anaconda管理依赖包,部署和运行都是没什么问题的,因此相关的部署验证问题都不再描述了。 通过该任务,可以证明使用 psycopg2  是可以接入 GaussDB的。

博客的地址: 

任务计划书博客地址:https://bbs.huaweicloud.com/blogs/440284

开发心得博客地址: https://bbs.huaweicloud.com/blogs/440285


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。