Superset适配GaussDB开源开发任务心得

举报
huangjiaming 发表于 2024/11/23 15:09:27 2024/11/23
【摘要】 Superset 作为一款强大的开源数据可视化与探索工具,在数据分析领域拥有广泛的应用。而 Gauss 数据库则以其高性能、高可靠性和丰富的功能在企业级数据处理场景中占据重要地位。为了使 Superset 能够充分利用 Gauss 数据库的特性,实现无缝对接与高效数据交互,我们开启了此次适配开发项目。目标是确保 Superset 在连接 Gauss 数据库后,能够稳定地执行各类数据查询、可视化操作

背景介绍

开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/)  通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。

开始之前,开发者可以下载 开源for Huawei Wiki(参考:https://gitcode.com/HuaweiCloudDeveloper/OpenSourceForHuaweiWiki/overview 了解详细的开发步骤,技术准备,以及开发过程需要的各种资源。

一、安装前提条件
  1. Linux 操作系统。
  2. Python 3.6 或更高版本(最好是3.8版本,3.10以上版本会出现版本不兼容的情况)。
  3. 下载 Miniconda 安装脚本,创建Conda环境
  4. 已安装并配置好数据库

二、适配准备

     1.前往 Miniconda 官方网站(https://docs.conda.io/en/latest/miniconda.html),根据Linux 系统架构下载对应的 Miniconda 安装脚本

     2.使用bash命令按照提示进行安装,安装完成后,关闭并重新打开终端以使环境变量生效。

     3.创建新的 Conda 环境:conda create -n superset-env python=3.8 # 可以指定你需要的 Python 版本

     4.激活 Conda 环境:conda activate superset-env

     5.安装 Superset:pip install apache-superset

(注意:superset是python的模块,需要考虑Werkzeug、Flask、Setuptools以及Wheel等依赖库的版本问题,可自行网上搜索确认版本)

     6.在superset的安装目录下,创建superset_config.py配置文件,因为该配置文件目录下本身是没有的,需自行创建:vim superset_config.py,可以添加以下代码:

(1)SQLAlchemy 数据库 URI(SQLALCHEMY_DATABASE_URI): 用于连接 Superset 元数据库(存储仪表盘、数据集等元数据的数据库)的配置项。例如,如果使用 PostgreSQL 数据库,格式可能是 postgresql://username:password@host:port/database_name

(2)数据库连接池设置(SQLALCHEMY_POOL_SIZE: 用于指定数据库连接池的大小,即同时可以打开的数据库连接数量。合理设置这个值可以根据应用的负载情况来平衡性能和资源消耗。

(3)日志文件位置(LOG_FILE: 可以指定日志文件的存储位置。

除了上述选项之外,还有其它的配置选项,我这边就不具体说明,大家可自行网上搜索补充。

     7.初始化superset数据库:superset db upgrade

     8.创建管理员用户,输入命令后,根据提示一步步填写信息

export FLASK_APP=superset
superset fab create-admin 

     9.在 Conda 环境激活状态下,运行以下命令启动 Superset 服务(此时端口为8088):superset run -p 8088 --with-threads --reload --debugger

     10.Superset服务会在http://localhost:8088 启动(可根据实际情况修改端口)

三、适配Gauss要注意的点:

      1.安装模块psycopg2,如果安装后仍然报错或者无法启动服务,可安装psycopg2-binary,相关命令:pip install psycopg2、pip install psycopg2-binary

      2.配置好环境变量,将Superset路径加到环境变量中

四、使用 Superset

  1. 打开浏览器,访问 http://localhost:8088
  2. 使用创建的管理员用户登录(如果出现无法登录,可在Superset服务窗口初始化superset,或者可将管理员用户加入Superset_config.py配置文件中)。
  3. 连接数据源:

         (1)点击 设置 -> 数据库连接 按钮。

         (2)点击添加数据库

         (3)选择数据库类型(如 PostgreSQL),填写数据库连接信息(主机、端口、数据库名、用户名、密码等),点击 连接 即可 


                         33.png

                        33_2.png

                        33_3.png

       4.创建数据集

            (1)点击 右上角的 + -> 数据 -> Create dataset 按钮。

            (2)选择之前创建的数据源,选择要包含在数据集中的表或视图,点击右下角的 CREATE

                      44_1.png

                     44_2.png

                    44_3.png

     5.创建可视化:

          (1)点击 图表 ->  +图表 按钮。

          (2)选择数据集,然后根据需求选择可视化类型(如柱状图、折线图等),配置可视化的各种属性(如坐标轴、标签等),点击 创建图表 。

                    55_1.png

                   55_2.png

                 55_3.png

55_4.png

     6.创建仪表盘:

          (1)点击 看板 按钮。

          (2)输入仪表盘名称等信息。

          (3)点击刚创建的仪表盘,在编辑模式下,可以将创建的可视化拖放到仪表盘上进行布局和组合,最后点击 Save 保存仪表盘布局。

                    66_1.png

                   66_2.png

                 66_3.png

可以看到 guassdb的数据是可以正常可视化制作和看板制作的

以上就是 Superset 对gaussdb 操作的一些详细步骤.

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。