SQLAlchemy适配GaussDB开源验证任务心得
第一步先看下任务计划书 https://bbs.huaweicloud.com/blogs/437780 ,这个任务的主要工作是完成 SQLAlchemy 连接 GaussDB 的验证工作。主要是需要花时间熟悉 SQLAlchemy 的底层代码逻辑和基本使用方法,下面介绍下适配过程中的一些关键步骤。
开发过程
1、为了避免开发环境混乱无序,建议使用虚拟环境开发:python -m venv yourVenvName
2、fork代码 https://github.com/sqlalchemy/sqlalchemy 到个人仓库,然后再进入虚拟环境,clone代码。
3、安装 SQLAlchemy 适配 GaussDB 所需的驱动,使用GaussDB官网提供的驱动
4、使用 pyproject.toml 来注册 sqlalchemy 到python的site-packages包里
pip install -e .
注意此命令在 sqlalchemy 的根目录执行,即 pyproject.toml 的同级目录
5、购买GaussDB数据库
6、安装Django所需的依赖库
pip install django==3.2.25
7、设置Django下的settings.py里的database的配置
SQLALCHEMY_DATABASES = {
'NAME': 'XXX', # 数据库名称
'USER': 'XXX', # 数据库用户
'PASSWORD': 'XXX', # 用户密码
'HOST': 'XXX', # GaussDB 主机
'PORT': 'XXX', # GaussDB 端口
}
8、根据官网的Demo(https://docs.sqlalchemy.org/en/20/orm/quickstart.html),开发好urls.py、views.py、models.py的代码(详见,请移步:https://gitcode.com/michael_chen/sqlalchemyDemoPython/overview),就可以启动服务了
9、启动服务,python manage.py runserver 0.0.0.0:yourPort
10、验证数据,经过测试,可以通过API对GaussDB的数据CRUD操作。
User表的数据:
get-all:
get-one:
post:
put:
delete:
Address表的数据:
get-all:
get-one:
post:
put:
delete:
11、登录GaussDB提供的管理平台查看是否创建数据库,以及创建的数据表数据是否符合预期,经检查符合预期
至此,经验收,SQLAlchemy 所生成的数据符合预期,SQLAlchemy 适配GaussDB,使用GaussDB提供的psycopg2驱动,可以完成基本使用,后续有因方言等问题,持续更新。
开发总结
适配中遇到的问题点:
- 报错:Could not determine version from string 'gaussdb (GaussDB Kernel 505.2.0 build e3976aad) compiled at 2024-09-20 00:15:18 commit 9967 last mr 19883 release'
-
- 原因:PostgresDB和GaussDB对于SQL——`select pg_catalog.version()`的返回值(数据库版本信息字符串)不一样,导致`re.match()`在解析GaussDB的版本信息时,未能正确解析出来,从而导致主动 raise异常。
- 解决方案:在`sqlalchemy/lib/sqlalchemy/dialects/postgresql/base.py`的第3383行,优化正则匹配规则,使之能兼容GaussDB的版本信息
m = re.match(
r"(?:(?:PostgreSQL|EnterpriseDB)\s+(\d+)\.?(\d+)?(?:\.(\d+))?(?:\.\d+)?(?:devel|beta)?)" # 匹配 PostgreSQL 或 EnterpriseDB
r"|"
r"(?:gaussdb\s+\(GaussDB Kernel\s+(\d+)\.(\d+)\.(\d+))", # 匹配 GaussDB 格式
v,
)
验收材料
交付件清单
- (1) 博客的地址: https://bbs.huaweicloud.com/blogs/440924
- (2) Demo仓库地址:https://gitcode.com/michael_chen/sqlalchemyDemoPython/overview
资源清单
产品名称 | 产品类型 | 数据库引擎版本 | 内核引擎版本 | 实例类型 | 部署形态 | 备注 |
---|---|---|---|---|---|---|
云数据库 GaussDB | 基础版 | V2.0-8.* | 505.2.* | 集中式 | 1主2备 | 推荐 |
产品名称 | CPU架构 | 实例类型 | 公共镜像 | 镜像版本 | 备注 |
---|---|---|---|---|---|
弹性云服务器 | 鲲鹏计算 | 鲲鹏通用计算增强型 | Huawei Cloud EulerOS | Huawei Cloud EulerOS 2.0 标准版 64位 ARM版(10GiB) | 推荐 |
- 点赞
- 收藏
- 关注作者
评论(0)