Polars适配GaussDB开源开发任务心得

举报
yd_214359516 发表于 2024/11/25 16:53:14 2024/11/25
【摘要】 Polars是一个基于NumPy的高性能数据处理库,它旨在提供简洁、高效的数据处理和分析功能。Polars利用Rust的高效性,结合Arrow列存储格式,提供内存优化和高效压缩。相比于Pandas,Polars更加轻量级,具有更好的性能,尤其是在处理大规模数据时。此外,Polars的设计哲学是简单至上,使得它更加易于学习和使用。

背景介绍

开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/)  通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前,开发者可以下载 开源for Huawei Wiki(参考:https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview 了解详细的开发步骤,技术准备,以及开发过程需要的各种资源。

一、安装前提条件
  1. Linux 操作系统
  2. Python 和polars版本如下

 

     3.下载 Miniconda 安装脚本,创建Conda环境

二、适配准备

     1.前往 Miniconda 官方网站(https://docs.conda.io/en/latest/miniconda.html),根据Linux 系统架构下载对应的 Miniconda 安装脚本

     2.使用bash命令按照提示进行安装,安装完成后,关闭并重新打开终端以使环境变量生效。

     3.创建新的 Conda 环境:conda create -n superset-env python=3.9 # 可以指定需要的 Python 版本

     4.激活 Conda 环境:conda activate superset-env

     5.安装Polars:pip install Polars

     6.安装pyarrow,否则会出现以下报错

三.代码提交部署

提价代码到对应的仓库后,按照 在ecs部署运行项目。代码开发:详细见

https://gitcode.com/zjx_666/OpenSourceForHuaweiPolarsPython/blob/main/demoapp/polars_rw_for_gaussdb.py  文件

四.开发总结

由于本任务是一个python验证项目,使用anaconda管理依赖包,部署和运行都是没什么问题的,因此相关的部署验证问题都不再描述了。 通过该任务,可以证明使用 psycopg2  是可以接入 GaussDB的。


开发心得博客地址: https://bbs.huaweicloud.com/blogs/440389

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。