【云驻共创】华为云数据库DDS产品深度赋能

举报
程思扬 发表于 2022/06/20 16:22:53 2022/06/20
【摘要】 本文适合数据库解决方案工程师(DA)、数据库交付工程师、数据库一线&二线从业者、以及对DDS感兴趣的用户,希望读者可以通过本文通过华为云数据库DDS产品深度赋能课程的学习,加强DA、交付、一线、二线对数据库产品的理解和技能提升。 本文分为5个章节展开讲解

声明:本文参考自《华为云开发者学堂 》,华为云数据库DDS产品深度赋能,主要面向DA、交付、一线、二线数据库从业者,针对DDS常见问题及产品特性进行介绍,涉及:产品特性介绍、产品使用场景介绍、产品常见问题介绍、DDS实例使用规范及最佳实践介绍、DDS副本集内部机制和分片集群内部原理介绍等。

本文适合数据库解决方案工程师(DA)、数据库交付工程师、数据库一线&二线从业者、以及对DDS感兴趣的用户,希望读者可以通过本文通过华为云数据库DDS产品深度赋能课程的学习,加强DA、交付、一线、二线对数据库产品的理解和技能提升。

本文分为5个章节展开讲解:

第1章 华为云数据库DDS产品介绍

第2章 DDS业务开发使用基础

第3章 了解DDS内核原理

第4章 快速使用分片集群

第5章 DDS产品官网相关链接

一、 华为云数据库DDS产品介绍

1. DDS 概述

首先我们要了解一下DDS的一些基础信息:

文档数据库 DDS(Document Database Service)完全兼容 MongoDB 协议,也就是正常MongoDB如何使用,DDS就如何使用在华为云高性能、高可用、高安全、可弹性伸缩的基础上,提供了一键部署,弹性扩容,容灾,备份,恢复,监控等服务能力。目前支持分片集群(Sharding)、副本集(ReplicaSet)、单节点(Single)三种部署架构。

MongoDB的数据结构

MongoDB存储结构

• 文档(Document):MongoDB中最基本的单元,由BSON键值对(key-value)组成。    

相当于关系型数据库中的行(Row)。    

• 集合(Collection):一个集合可以包含多个    文档,相当于关系型数据库中的表(Table)

• 数据库(Database):等同于关系型数据库中的数据库概念,一个数据库中可以包含多个集合。您可以在MongoDB中创建多个数据库。

2. DDS 部署形态及关键特性    

2.1DDS服务部署形态-单节点(Single)

架构特点

1.超低成本,仅需支付一个节点的费用

2.支持10GB-1000GB 的数据存储;

3.较副本集/集群可用性不高:当节点故障,业务不可用;

适用场景

非核心数据存储

学习实践;

测试环境的业务;

2.2 DDS服务部署形态--副本集(Replica Set)


上图为一个经典的三副本形态

架构特点

1. 三节点高可用架构:当主节点故障时,系统自动选出

新的主节点

2.支持10GB-3000GB 数据存储;    

3. 具备扩展到5节点,7节点副本集的能力。    

适用场景

有高可用需求,数据存储<3T

2.3 DDS服务部署形态--集群(sharding)

架构特点

1. 组件构成:由mongos(路由)、config(配置)、shard(分片)三种类型的节点构成

2. Shard 分片:每个shard都是一个副本集架构,负责存储业务数据。可创建2-16个分片,每个分片10GB-2000GB。因此,集群空间范围( 2-16)*(10GB-2000GB)

3. 扩展能力:在线规格变更、在线横向扩展

适用场景

要求高可用,数据量大且未来横向扩展要求

2.4 DDS关键特性

文档数据库 DDS 主要特性集

数据库类型及版本:兼容 MongoDB 3.4/4.0 版本

数据安全:多种安全策略保护数据库和用户隐私,例如:VPC、子网、安全组、SSL等

数据高可靠:数据库存储支持三副本冗余,数据库数据可靠性高;备份数据可靠性高

服务高可用(同城容灾):集群/副本集实例支持跨AZ部署,服务可用性高

实例访问:多种访问方式,包括:内网IP 访问、公网IP 访问

实例管理:支持实例的创建、删除、规格变更、节点扩容、磁盘扩容、重启等生命周期管理

实例监控:支持监控数据库实例OS及DB引擎的关键性能指标,包括CPU/内存/存储容量使用率、1/O活动、数据库连接数等

弹性伸缩:水平伸缩:增删 shard 分片(最多 16个);垂直伸缩:实例规格变更,存储空间扩容(最大n*2TB)

备份与恢复:备份:自动备份、手动备份,全量备份、增量备份,备份文件的增、删、查、复制等生命周期管理。恢复:副本集支持恢复到备份保留期内任意时间点(Point-In-Time Recovery, PITR)/某个全量备份时间点,恢复到新实例/原实例。备份保存周期高达 732天

日志管理:支持慢SQL日志、错误日志的查看、以及审计日志下载

参数配置:可以根据监控和日志等信息,通过管理控制台对数据库实例的参数进行自定义设置,从而优化数据库。另外管理控制台对参数组提供了增、删、改、查、重置、比较、复制等一系列的参数管理的能力。


3. DDS 产品优势及应用场景    

3.1 DDS 的产品优势

MongoDB    

• 100%兼容 MongoDB

• 具备无需业务改造,直接迁移上云的能力

• 支持社区3.4/4.0版本

3种架构

• 集群、副本集、单节点

• 集群:nTB存储、在线扩容

• 副本集:2TB存储

• 单节点:高性价比

高可用    

• 架构高可用、跨AZ 部署

• 支持副本集,Shard高可用架构(集群)

• 副本集多节点(三、五、七)

• 集群、副本集支持跨AZ部署

高可靠    

• 自动/手动备份,数据恢复    

• 每天自动备份,保留732天    

• 手动备份,永久保存    

• 备份恢复    

高安全    

• 具备多层安全防护    

• 网络:VPC网络隔离

• 传输:SSL安全连接

• 访问:安全组出、入限制

管理、监控    

• 可视化监控:CPU、内存、10、网络等    

• 实例一键扩容、规格变更    

• 错误日志、慢日志管理    

• 参数组配置

3.2 DDS 应用场景

灵活多变的业务场景

DDS采用No-Schema的方式,避免变更表结构的痛苦,非常适用于初创型的业务需求。

游戏应用

作为游戏服务器的数据库存储用户信息,用户的游戏装备、积分等直接以内嵌文档的形式存储,方便进行查询与更新。

视频直播

存储用户信息,礼物信息等

3.3 DDS 使用场景举例:业务弹性扩展,数据结构灵活

游戏行业业务和数据特点

1.用户信息和交易数据存储在MySQL中。

2.角色装备数据及游戏的过程日志存储在 DDS 中

3.游戏业务变化频繁,对于数据表需要做结果变更DDS修改表结构对业务无影响。

客户痛点(私有云部署)

1.资源不具备弹性伸缩,需要停服然后手工操作,风险极高。

2.没有数据库的故障自动切换机制或能力不足,主实例故障,修改应用配置,停服时间长。

3.很少设置专职 DBA 岗位,遇见数据回档场景,很难满足运营的诉求。

4.游戏玩法变化快,数据模型灵活变化

华为云数据库的解决方案

1.高性能

RDS MySQL和DDS性能超越阿里云。

2.弹性伸缩

RDS和DDS支持磁盘的弹性扩容,对业务无影响。

3.一键回档(游戏业务数据诉求)

RDS和DDS支持表级和实例别任意时间点的回档。

4. 快读开服

RDS和DDS,可使用备份创建新实例,实现快速开服。

5.故障切换

RDS 和 DDS 主备故障秒级别切换,对业务透明,应用配置无需改动。

4. DDS 管理控制台及运维指南

DDS 服务首页

DDS 实例创建-1

DDS 实例创建-2

DDS 实例详情

二、 DDS业务开发使用基础

1. DDS 高可用连接方式

参数

说明

rwuser:****

启动鉴权的用户名和密码。

192168.0148:8635

192.168.0.96:8635                

副本集主、备节点的IP及端口号

test

待连接的数据库名称。

authSource=admin

表示鉴权时,用户名所属的数据库。

replicaSet=replica    

副本集实例类型名称。


分片集群高可用址:

mongodb://wuser;****@192.168.0.204:8635.192.168.0.94:8635/test?authSource=admin

多个mongosIP配置在客户端Driver进行负载均衡

单个mongos故障,其他mongos正常运行

副本集和分片集群实例连接失败场景:

• 网络端口不通,安全组,跨 vpc

• 是否开启SSL安全连接

• 连接参数错误,用户名、密码错误

• DDS实例连接占满,无法创建新连接

• DDS实例内存、CPU过高

• 更多详情参考官方指南:
https://support.huaweicloud.com/dds fa/dds_faq_0218.html

2. DDS 用户认证及创建

2.1用户认证
用户,角色,权限,对象 模型 ---- 基于admin库创建并管理用户角色
用户:userA,userB,userC,角色:role1,role2,role3     权限:userAdmin,readWrite.…

对象:db,collection(action)

查看当前用户及角色:    
use admin

db.runCommand({rolesinfo: 1});
db.runCommand({ userslnfo: 1} );
举例几个常用用户角色:
管理用户及角色账号:userAdminAnyDatabase
db.createUser({user:"user_admin,pwd:"YourPwd_234",roles:[{role:"userAdminAnyDatabase",db:"admin")
管理数据库账号:dbAdminAnyDatabase
db.createUser(fuser:"dbadmin"pwd:"YourPwd 234"roles:[{role:"dbAdminAnyDatabase",db:"admin"}l})
·指定库的管理账号:dbAdmin
db.createUser({user:"db_admin_db1",pwd:"YourPwd_234",roles:[{role:"dbAdmin",db:"db1"}I})
全库的只读账号:readAnyDatabase
db.createUser({user:"db_read",pwd:"YourPwd_234",roles:{role: "readAnyDatabase",db:"admin"}})
·指定库的读写账号:readWrite
db.createUser({user:"db_rw_db2",pwd:"YourPwd_234",roles:[{role:"readWrite",db:"db2"}l})

2.2创建权限用户

管理用户登录后可管理库表不可读写数据

只读用户登录后可读不可写

3. DDS 用连接参数读写分离

3.1 读写分离场景的选择

生产环境的高可靠运转,核心组件高可用,提高系统整体可用性及服务质量

结合节点部署形态理解 :

https://supporthuaweicloud.com/bestpractice-dds/dds_0003.html

读写分离的使用场景

怎么选择读参数 Read Preference
primary(只主)只从 primary节点读数据,这个是默认设置
primaryPreferred(先主后从)优先从primary读取,primary不可服务,从 secondary读 secondary(只从)只从scondary节点读数据
secondaryPreferred (先从后主)优先从secondary读取,没有secondary成员时,从primary读取 nearest(就近)根据网络距离就近读取,根据客户端与服务端的PingTime实现

3.2 读写分离配置使用举例

读写分离配置使用举例:

可以通过uri连接参数配置,也可以再单次查询操作的时候配置读取偏好 mongodb://db_rw_db2:YourPwd_234@IP1:port1,IP2:port2/db2?

authSource=admin&replicaSet=replica&readPreference=secondaryPreferred

replica:PRIMARY> db.coll1.find().readPref("secondary");

2021-12-29T11:56:09.435+0000 I NETWORK [js] Successfully connected to 192.168.2

"id":0bjectId("61cc2b7270efbd76daa54891"),"age": 13 }

id"    ObjectId("61cc2b7970efbd76daa54892"),"age": 14 }

4. DDS 写策略配置

一致性和可用性的一场较量----- 可调一致性参数

• 写入策略writeConcern参数使用及默认值

·db.collection.insert({x:1},{writeConcern:{w:1}})

·mongodb://db_rw_db2:YourPwd 234@IP1:port1P2:port2/db2?

authSource=admin&replicaSet=replica&w=majority&wtimeoutMS=5000

• 分区容错不可避免

• 业务数据一致性:实时一致性,最终一致性{w:n} {w:“majority"}w默认是1

• 系统服务可用性:读写操作的延迟容忍度多节点数据同步依赖oplog复制到备节点

• 业务特征来平衡选择以上参数取值

写操作策略再连接参数中指定

写操作策略再单次操作参数中指定

三、 了解DDS内核原理

1. DDS 服务部署模型概述


架构特点

1.高可用服务方式,自动故障转移,读写分离场景

2.支持10GB-3000GB 数据存储;

3.具备扩展到5节点,7节点副本集的能力。

适用场景

有高可用需求,数据存储<3T

2. DDS心跳及选举

2.1 DDS心跳及选举

• 副本集内,节点之间

• 默认情况,间隔 2s

• 10s未收到主节点响应主动选举

• 实现自动故障转移

胜选:

数据相对最新的节点获得大多数节点选票

2.2 DDS自动故障转移


副本集节点角色:

• Primary

• Secondary

• Hidden

• Arbiter

故障转移

• Primary发生异常(节点心跳未正常)

• Secondary发起选举,主动接管

• Driver连接副本集正常业务读写

2.3 DDS副本集管理

副本集管理:

• 副本集配置初始化rs.initiate()

• 副本集添加成员 rs.add()

• 副本集删除成员rs.remove()

• 副本集配置查看rs.config()副本集配置重置rs.reconfig()

• 副本集状态查看rs.status()

3. DDS数据同步和复制

3.1 DDS数据同步

多个副本集内数据同步:

• 副本集内,一个Primary,多个Secondary

• 备节点可以承载读取能力

• 备节点选择同步源:主节点or其他比自己数据更新的节点

• 允许链式复制,减缓主节点压力

• 数据通过操作记录重放在备节点

• 随着数据复制推移备节点最新操作时间戳

3.2 DDS据同步详解

复制数据关键技术点:

• 主节点写入数据后,记录oplog

• 备节点拉取oplog√备节点应用oplog

• voplog是固定大小的集合,自然序写入,无索引

• 多线程并行应用oplog:

• 一个线程内部操作串行执行

• 一个集合的oplog会被一个线程处理

• 不同集合的oplog会被分配到不同线程处理

• 更新数据库状态,更新最新时间戳

3.3 DDS数据同步注意事项


关于复制的注意事项:

• 副本集内oplogsize固定,写入数据会淘汰旧的oplog数据

• 空载业务的数据库实例,通过noop特殊操作推移

• noop操作每次间隔10s写入oplog,少于10s则不写入

• 业务过载,写入速度过快导致复制脱节

• 可以通过write Concern确保写入多数节点

• 可以指定读写分离readPreference

4. DDS 查询计划和其他机制

4.1 DDS查询计划及索引建议

索引类型:        

• 单字段索引    

• 组合字段索引

{userid: 1,score:-1}    

• 嵌套字段索引        

{“addr.zip”}    

• 地理位置索引    

2dsphere indexes

• 文本索引

• hash索引

索引属性:

• 唯一索引    

• 部分索引    

• 稀疏索引

• TTL索引(Time to Live)        

通过查询计划诊断查询效果:

• explain计划分析:返回文档、扫描文档、是否覆盖索引、是否内存排序

• queryPlanCache查看查询计划方案缓存情况

4.2 DDS阅数据变更场景

订阅数据变更:

• 通过watch对于一个集合的数据变更进行监听

• 通过cursor的next持续返回该集合的数据变更

• full_document='updateLookup’返回update全文档

• db.bar.watch(0.{“resumeAfter”:<\_id>})从断点恢复

• readConcern=true

• 断点时间可恢复,同理与oplog可用窗口

Change Stream限制:

• 部分DDL操作不支持

• fullDocument返回的update全文可能被后续操作更改的

• 全量信息(在频繁快速更改前提下)

• change stream返回体限制16M,则原始数据修改需要更小

4.3 DDS其他机制注意事项

文档&集合建议:

• JSON数据模型(对象模型内聚数据关联)

• 文档Size限制16MB

• 一个集合中不建议存储过量数据

• 有效使用固定集合(size,max)

• 删除数据库快速释放内存

• 集合总体数量过多导致内存占用过高

四、 快速使用分片集群

1.DDS服务部署模型概述

DDS服务集部署形态

架构特点

1.组件构成:由mongos(路由)、config(配置)、shard(分片)三种类型的节点构成

2.Shard 分片:每个shard 都是一个副本集架构,负责存

储业务数据。可创建 2-32个分片,每个分片10GB-2000GB。因此,集群空间范围(2-32)*(10GB-2000GB)

3. 扩展能力:在线规格变更、在线横向扩展

适用场景

要求高可用,数据量大且未来横向扩展要求

2. DDS片集群基本使用

2.1 DDS选择集群规模

分片集群部署方式,水平分表,横向扩展存储和读写能力

2个mongos以上,路由模块提供高可用的接入

2个shard以上,具备分片扩展能力

一个shard内部以副本集方式服务,具备副本集所有属性

用户数据库默认创建非分片,需要指定分库及分表方式

2.2 DDS选择片键关联索引

分片键建议

类似索引选择,取值选择性强的字段、可以是组合字段索引取值单个关联文档过多,容易导致Jumbo chunk确保查询包含shard key,避免scatter-gather查询片键类型区分HashedRange

>sh.shardCollection("database.collection"{<field>:"hashed"})>sh.shardCollection("database.collection",{<shard key>})

分片键举例:海量设备日志类型数据


timestemp

range

时间趋势导致新数据集中一个shard 写请求并不均衡

不建议

Timestemp

hashed

根据device id 查询会广播到每个shard上、mongos上内存排序


不建议


Device id            

hashed

同一个device 的数据可能带来Jumbo chunk

不建议

device_id+timestamp

range

写入均匀到多个 shard、精细化 chunk 的划分、支撑范围查询


建议

   

2.3 DDS 预置chunk及其他建议

• 预置chunk能够最有效降低均衡带来的性能消耗    

• chunksize默认64MB、数据聚集的逻辑单位    

• shard key优选,避免Jumbo chunk    

• shard key 取值不超过 512 Bytes    

• db.colname.getShardDistribution()#可以查看数据分布    

• scatter-gather查询产生mongos输入网卡流量过高    

• hash分片方式,创建集合指定预置初始chunks数量

mongos> sh.enableSharding("<database>") mongos> use admin

mongos>db.runCommand({shardcollection:“<database>.<collection>”,key:{“keyname”:“hashed”), numinitialChunks: 1000})

• range分片方式,通过采用分裂点初始化chunks数量

mongos>db.adminCommand({split:"test.coll2middle:{username:1900}})(多次寻找合适切分点,建议采用DRS完整迁移功能)

3. DDS config 及管理操作

3.1DDS config server 及元数据

• config database    # mongos> use config    

• config.shards    #db.shards.find()    

• config.databases    #db.databases.find()    

• config.collections    #分片集合    

• config.chunks    #所有chunks的记录    

• config.settings    #shard cluster配置信息    

• mongos>db.settings.find()

("id" : "chunksize”, "value": NumberLong(64)}

{"id" : "balancer", "stopped": false )

• config server 存储整个分片集群元数据

• 以副本集为单位、高可用部署方式

3.2 DDS 集群管理及最佳实践

• 添加分片

db.runCommand({addShard:"repl0/mongodb3examplenet:27327"})

• 删除分片 removeShard 会影响chunks的重新分配、运行时间过长

• 查看均衡

mongos>sh.getBalancerState()#查看是否开启均衡

mongos>sh.isBalancerRunning0 #查看是否正在均衡迁移chunk

• 备份时停止、开启均衡sh.stopBalancer()

sh.setBalancerState(true)

• 刷新路由信息

db.adminCommand({flushRouterConfig:"<db.collection>"}) db.adminCommand({ flushRouterConfig: "<db>" } )

db.adminCommand( { flushRouterConfig: 1 })    

4.DDS分裂和均衡的基本原理

4.1 DDS分裂基本原理

• 分裂命令

sh.splitFind("records.people"{"zipcode":"63109"})

#匹配 zipcode:63109的chunk,分裂为2个或多个chunk sh.splitAt( “records.people”,{ “zipcode”: “63109”))#以zipcode:63109为分裂点,分裂为2个 chunk

• 分裂基本过程

sharding.autoSplit自动分裂默认开启

插入、更新、删除数据时,mongos判断chunk是否超过阈值,触发chunk分裂

chunk分裂是逻辑动作,基于元数据进行标记数据边界左开右闭[)

chunk内数据shard key是相同的一个值,则无法分裂形成Jumbo chunk

4.2 DDS均衡基本原理

迁移命令    

db.adminCommand{moveChunk:<namespace>    

find : <query>.

    to: <string>,    

_secondaryThrottle<boolean>,

writeConcern:<document>,

迁移命令    

db.adminCommand{moveChunk:<namespace>    

find : <query>.

to: <string>,    

_secondaryThrottle<boolean>,

writeConcern:<document>,

_waitForDelete<boolean>})    

迁移基本过程

• 由config server 通知发送方shard,并指定迁移chunk任务(一时迁移一个chunk)

• 发送方shard 通知接收方shard主动分批次拷贝数据、增量应用到接收方    

• 发送方判断chunk数据迁移完毕后进入临界区,写入操作挂起直到退出临界区    

• 接收方最后拷贝chunk 最后一次增量数据完成commit,完成后接受方退出临界区

• 接收方最后进行异步删除本地chunk(孤儿chunk)

均衡窗口

use config    

db.settings.update({id:"balancer}.{$set:

{activeWindow:{start:“02:00stop:"06:00"}}}    
{upsert: true })


五、 DDS产品官网相关链接

在本章节的末尾提供一下DDS 产品相关的参考链接,有想了解更详细的同学可以看一下

产品主页:    https://www.huaweicloud.com/product/dds.html    

帮助中心:    https://support.huaweicloud.com/dds/index.html    

性能白皮书https://support.huaweicloud.com/pwp-dds/dds_pwp_0003.html

FAQhttps://support.huaweicloud.com/dds faq/dds faq 0101.html


本文整理自华为云社区【内容共创】活动第17期
https://bbs.huaweicloud.com/blogs/358780
任务27:华为云数据库DDS产品深度赋能


【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200