DWS组网

一、购买数据仓库集群

区域配置

区域(Region)

• 集群节点的工作区域。
• 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
• 服务按照区域完成物理隔离。

可用区(AZ，Availability Zone)

• 一个AZ是一个或多个物理数据中心的集合。
• 一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。

节点配置

• 产品类型
• 计算类型
• 存储类型
• CPU架构
• 节点规格（规格名称、 vCPUs|内存、热数据存储）
• 热数据存储 GB/节点
• 冷数据存储
• 节点数量
• 资源总量

数据仓库类型

• 云数仓高性价比，支持冷热数据分析，存储、计算弹性伸缩，无限算力、无限容量，并按需、按量计价。适用于“库、仓、市、湖”一体化的融合分析业务，是OLAP分析场景的首选。

• -IoT数仓在云数仓基础上，提供高效的时序计算和IoT分析能力，支持实时和历史数据关联，内置时序算子，最高40x压缩。适用于物联网IoT等实时分析场景。

• 实时数仓在大规模数据查询和分析能力基础上，提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景，“一库两用，生产即分析”，支持单机部署和集群部署两种部署方式。

注意

• 实时数仓（单机部署）不支持演进到分布式模式，因此不支持扩缩容、逻辑集群、资源管理等操作。
• 实时数仓（单机部署）暂不支持快照、DMS监控、MRS数据源等功能，将在未来版本逐步开放。
• 实时数仓（单机部署）中，原有指定分布列语法将被忽略，此外暂不支持job定时任务、SEQUENCE类型、HDFS/OBS外表导入导出、多温存储、自增分区表等功能，将在未来版本逐步开放。
• IoT数仓不支持在线扩容。

集群配置

• 集群名称
• 集群版本
• 默认数据库
• 管理员用户
• 管理员密码
• 确认密码
• 数据库端口

网络配置

• 虚拟私有云
• 子网
• 安全组
• 公网访问
• 带宽

二、数据仓库集群使用

GaussDB(DWS)集群首页

• 购买完集群后，可以在控制台上查看集群基本信息。

集群基本信息

• 点击集群名字，可以查看集群基本信息。

工作负载管理

• 在集群信息界面，点击工作负载管理，可以查看负载信息。

快照管理

• 在集群信息界面，点击快照，可以查看快照信息。

参数修改

• 点击参数修改，可以查看参数修改界面。

安全设置

• 点击安全设置，可以查看安全设置界面。

MRS数据源

• 点击MRS数据源，可以通过创建MRS数据源连接，连接HDFS。

事件管理

• 点击事件管理，可以查看当前数据库的事件操作。

连接管理

• 点击连接管理，查看集群的连接操作。

三、数据仓库集群产品功能

集群管理

• 创建集群

  • 如果用户需要在云上环境中使用数据仓库服务，首先应创建一个GaussDB(DWS)集群。用户可根据业务需求选择相应的产品规格和节点规格快速创建集群。您也可以先购买折扣套餐，然后再创建集群。

• 管理快照

  • 快照是GaussDB(DWS) 集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据，快照可用于还原某一时刻的集群。用户可以为集群手动创建快照，也可以开启定时创建自动快照。自动快照有保留天数限制，用户可以对自动快照进行复制，生成手工快照以便长期保留。

  • 当您从快照恢复集群时，系统将为您创建一个与原始集群规格相同、节点数也相同的新集群，并导入快照数据。

  • 对于不再需要的快照，可以选择删除快照，以释放存储空间。

• 管理节点

  • 用户可查看所创集群的节点列表，在节点管理页面可以清晰的查询各节点的状态、节点规格、是否已使用等信息。若用户需要进行大规模扩容操作时，可通过节点管理功能提前分批次添加准备好用于扩容的节点。例如需要新扩容180个BMS节点，可分3批各添加60个，如果其中有一部分添加失败，可再次添加失败数量的节点，等180个节点添加成功后，再使用这些添加好的节点进行扩容；添加节点过程中不影响集群业务。

• 扩容集群

  • 随着业务的增长，现有集群规模可能无法满足业务需要，此时，用户可以扩容集群，为集群增加计算节点。扩容时业务不中断。进行扩容操作时，用户可根据需求选择是否在线扩容和自动重分布。

• 管理重分布

  • 默认情况下，在扩容之后将自动调起重分布任务，为了增强扩容重分布整个流程的可靠性，可以选择在扩容时关闭自动重分布功能，在扩容成功之后再手动使用重分布功能执行重分布任务，数据重分布后将大大提升业务响应速率。当前重分布支持离线重分布、在线重分布两种模式，默认情况下，提交重分布任务时将选择离线重分布模式。

• 磁盘扩容

  • 随着客户业务的发展，磁盘空间往往最先出现资源瓶颈，在其他资源尚且充足的情况下，执行传统扩容操作不仅耗时久，还伴随着资源浪费问题，扩容过程也不具备在线能力。通过磁盘扩容可快速缓解存储资源瓶颈现象，操作过程中无需暂停业务，并且不会造成CPU、内存等资源浪费。用户可在没有其他业务情况下选择磁盘扩容操作，扩容成功后可以继续磁盘扩容，若扩容失败用户可尝试重新进行磁盘扩容操作。

• 工作负载管理

  • 当您有多个数据库用户同时查询作业时，一些复杂查询可能会长时间占用集群资源，从而影响其他查询的性能。例如一组数据库用户不断提交复杂、耗时的查询，而另一组用户经常提交短查询。在这种情况下，短时查询可能不得不在队列中等待耗时查询完成。为了提高效率，GaussDB(DWS)提供了工作负载管理功能，GaussDB(DWS)工作负载管理以工作负载队列为资源承载，对于不同的业务类型可以创建不同的工作负载队列，为这些队列配置不同的资源占比，然后将数据库用户添加至对应的队列中，以此来限制这些数据库用户的资源使用。

• 逻辑集群

  • 逻辑集群是基于Node Group机制来划分物理节点的一种集群模式，从节点层次将大集群进行划分，和数据库形成交叉。一个数据库中的表可以按逻辑集群来分配到不同的物理节点，而一个逻辑集群也可以包含多个数据库的表。

• 重启集群

  • 重启集群将有可能会导致正在运行中的业务数据丢失，如果需要执行重启操作，请确定不存在正在运行的业务，所有数据都已经保存。

• 删除集群

  • 当用户不再需要集群时，可选择删除集群。此操作为高危操作，删除集群可能导致数据丢失，请谨慎操作。

GaussDB(DWS) 为用户提供了以下两种方式管理集群和快照：

• 管理控制台方式

  • 使用管理控制台方式访问GaussDB(DWS) 集群。用户在注册后，可直接登录管理控制台，选择“数据仓库服务”。

• REST API方式

  • 支持使用GaussDB(DWS) 提供的REST API接口以编程的方式管理集群。如果用户需要将GaussDB(DWS) 集成到第三方系统，用于二次开发，请使用API方式访问。

企业级数据仓库和标准SQL的支持

GaussDB(DWS) 为用户提供了PB（petabyte）级高性能数据库，主要体现在：

• MPP大规模并行处理框架，支持行列混存、向量化执行，实现万亿数据关联分析秒级响应。
• 内存计算，基于Bloom Filter的Hash Join优化，性能提升2~10倍。
• 基于电信技术优化的大规模集群通信，提升计算节点间的传输效率。
• 基于代价的智能优化器，根据集群规模、数据量、生成最优计划，提高执行效率。

GaussDB(DWS) 具有完备的SQL能力：

• 支持SQL 92、SQL 2003标准，支持存储过程，支持GBK和UTF-8字符集，支持SQL标准函数与OLAP分析函数。
• 兼容PostgreSQL生态，与主流第三方数据库ETL，BI（business intelligence）工具厂商对接认证。

多样化的数据导入方式

• 从OBS（对象存储服务）并行导入数据
• 使用GDS（General Data Service）从远端服务器导入数据
• 通过INSERT语句直接写入数据
• 使用COPY FROM STDIN导入数据
• 使用gsql元命令导入数据
• 从MRS（MapReduce服务）导入数据到集群
• 使用CDM（云数据迁移服务）迁移数据到GaussDB(DWS)
• 使用DSC工具迁移SQL脚本
• 此外，GaussDB(DWS) 还支持主流第三方ETL工具进行数据导入。

应用程序接口

• 支持调用JDBC（Java database connectivity）、ODBC（Open Database Connectivity）等标准接口开发应用程序访问GaussDB(DWS) 集群中的数据库。

高可靠性

• 通过实例冗余、数据冗余，实现整个系统无单点故障。
• 数据多副本，且所有数据可手工备份至OBS。
• 自动隔离有故障的节点，利用副本重新恢复数据，并在必要时替换节点。
• 自动快照结合OBS存储，实现跨AZ容灾，若用户生产集群所处的地理位置发生自然灾害，或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务，那么灾备集群可以切换为生产集群，从而保障业务连续性。
• 当集群状态为“非均衡”时会出现某些节点主实例增多，从而负载压力较大，用户可在业务低峰期进行集群主备恢复操作。
• 用户使用客户端连接DWS集群时，如果用户仅连接一个CN节点地址，通过该CN节点内网IP或弹性公网IP连接时，只能连接到固定的CN节点上，存在CN单点问题。因此GaussDB(DWS)引入了弹性负载均衡服务，解决集群访问的单点问题。弹性负载均衡（ELB）是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务，可以通过流量分发扩展应用系统对外的服务能力，提高应用程序的容错能力。
• 当用户集群创建后，实际需要的CN数量会随着业务需求而发生变化，因此GaussDB(DWS)提供了增删CN节点功能，实现用户可以根据实际需求动态调整集群CN数量的要求。

安全管理

• 基于网络隔离、安全组规则以及一系列安全加固项，实现租户隔离和访问权限控制，保护系统和用户的隐私及数据安全。
• 支持SSL安全网络连接、用户权限管理、密码管理等功能，保证数据库在网络层、管理层、应用层和系统层的安全性。

监控与审计

监控集群

• GaussDB(DWS) 与云监控服务集成，使您能够对集群中的计算节点和数据库进行实时监控。

数据库监控

• 数据库监控（DMS）是一个为GaussDB(DWS)数据库提供多维度监控服务的系统，为客户数据库的快速、稳定运行提供保驾护航的能力。该功能对业务数据库所使用磁盘、网络、OS指标数据，集群运行关键性能指标数据进行收集、监控、分析。通过综合收集到的多种类型指标，对数据库主机、实例、业务SQL进行诊断，及时暴露数据库中关键故障及性能问题，指导客户进行优化解决。

告警管理

• 告警管理包含查看告警规则、告警规则配置与告警信息订阅功能。其中，告警规则可以提供过去一周的告警信息统计与告警信息明细，方便用户自行查看租户下的告警。该特性除了以默认值的形式提供一套GaussDB(DWS)告警最佳实践外，还允许用户根据自己的业务特点，个性化修改告警阈值。

事件通知

• GaussDB(DWS) 与消息通知服务对接，使您能够订阅事件并查看触发的各类事件。

审计日志

• GaussDB(DWS) 与云审计服务集成，使您能够对所有的管理控制台操作及API调用进行审计。
• GaussDB(DWS) 数据库还会记录所有的SQL操作，包括连接尝试、查询和数据库的变动。

支持多种数据库工具