Parquet适配Gauss开源验证任务心得
背景介绍
开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。
1 适配思路
- 在ECS环境里安装好python环境,部署好parquet程序;
2.运行python parquet.py将数据从parquet文件中写入gauss
3.运行python toparquet.py将数据从高斯写入parquet,并在当前目录下产生一个parquet文件
2具体实现
在 ECS里面部署好Parquet后,运行python parquet.py后会将我们准备example.parquet文件数据导入到高斯表中,
运行完成后可以查看高斯表数据。运行python toparquet.py后会将高斯表中的数据导出到parquet中,检查文件目录中是否有parquet文件生成
1.1 Parquet文件数据加载到高斯
执行python parquet.py命令
显示执行成功,我们再查看高斯库的表数据有没有更新
查看public.parquetab表发现数据已经写入成功
1.2 高斯的数据写入到parquet文件中
我们运行python toparquet.py命令执行我们的toparquet代码,将会在当前目录下产生一个parquet文件
执行成功后,使用ll命令查看当前目录下有个demo.parquet的文件
我们把这个parquet文件的数据打印出来,看是否和我们的表中一致
- 点赞
- 收藏
- 关注作者
评论(0)