【大厂内参】第8期:8大场景系列玩转数仓运维,做个不秃头的DBA
每一个奋斗在前线的DBA似乎运气都不太好,他们都经历过的诡异事件大概率是:逢年过节必出故障。眼看着要放假了,又接到故障通知,只好通宵加班找问题。没问题的时候可能大家都不会想到你,一出问题就先拿运维试问,于是每逢佳节便出现拜数据仓库的戏谑图片。
为了让DBA们加班找故障成为过去式,减少运维工作量,我们选取容灾、负载管理、数据上云等典型运维场景,围绕华为云GaussDB(DWS)多源数据融合分析、计算/存储资源规划、业务连续性的数仓高可用等核心技术,流式数据入库、集群管理、时区调整、扩容等运维技巧,帮助您解决实际业务运维场景中遇到的问题,让DBA玩转数仓运维“不秃头”。
负载管理:让“笨”的数仓“聪明”起来
从四个核心技术为你解密,GaussDB(DWS)负载管理功能如何做好计算/存储资源的划分,让你的数仓“聪明”起来。
GaussDB(DWS)负载管理核心技术解密一:全景图及解决的场景
GaussDB(DWS)负载管理核心技术解密二:白话历史资源监视
GaussDB(DWS)负载管理核心技术解密三:工作负载管理测试分析
GaussDB(DWS)负载管理核心技术解密四:工作负载计划解密
保障业务连续性,GaussDB(DWS)高可用有妙招
GaussDB(DWS)所有内部组件CN、DN、GTM、CM等采用多活或主备设计,通过集群管理进行故障检测和切换。在硬件层面,除了最基本的宕机、断网的直接故障外,GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景,做了大量的建模和针对性优化,能够实现故障的准确探测和自愈。并且还提供了双集群容灾能力,通过跨AZ、跨Region的物理复制,实现异构集群容灾。
GaussDB(DWS)高可用之数据复制
GaussDB(DWS)高可用之备机重建
GaussDB(DWS)高可用之CN>M组件高可用介绍
GaussDB(DWS)高可用之主备从HA技术
GaussDB(DWS)高可用之单点故障业务不中断
华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证
全方位案例解读数仓数据融合
GaussDB(DWS)采用一套SQL引擎,支持Oracle、MySQL、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。
数据上云是趋势,DBA掌握云端运维是关键
数仓未来是云,越来越多企业面临数仓和应用技术转型,云端运维成数仓运维需要掌握的核心。DWS提供了简单易用的Web管理控制台,帮助您快速创建数据仓库集群,轻松执行数据仓库管理任务。
手敲代码实践展示GaussDB(DWS)流式数据入库的三种方式
随着金融风控,以及IoT场景对数据实时处理分析的诉求,DWS实时数仓时序数据单机入库性能达10w/s,流数据达60w/s,并能够线性扩展,并且GaussDB(DWS)流式数据可通过Python、C和Java三种接口,让入库全程无忧。
[数仓性能调优从掌握最基本命令开始,十八般武艺轻松搞定数仓性能调优]
数仓性能调优是数仓应用开发和迁移过程中的关键步骤,在整个项目实施过程中占据很大的份量。它没有明确的衡量标准和对错之分,考验的是资深一线技术人员的隐式技能。开发者可通过该系列文章了解数仓的基本原理,然后结合调优思路,对各个调优技巧进行深入的学习。
数仓性能调优必读:从系统级到SQL级,带你进阶为性能调优高手
一手掌握GaussDB(DWS)集群运维
GaussDB(DWS)现网运行的PB级数据量以上的大集群已经有10+个,最大商用单集群规模达到240节点。在产品能力上,GaussDB(DWS)可扩展至2048节点,并且该规模在12月已通过信通院的权威评测。另外,还实现了逻辑集群特性,一套物理集群可针对不同业务划分多个逻辑集群,数据相互隔离,支持跨逻辑集群的计算资源调动。通过逻辑集群,可以进一步扩展集群的规模。该系列从基本概念到核心功能,带你了解集群管理、通信等方面的应用之道。
GaussDB(DWS)集群管理系列
GaussDB(DWS)集群通信系列
GaussDB(DWS)逻辑集群系列
这份GaussDB(DWS)基础运维知识,你要收藏
从理论到升级案例,带你掌握GaussDB(DWS)升级、扩容面临的疑难问题。
GaussDB(DWS)升级问题定位指南
GaussDB(DWS)扩容问题定位指南
GaussDB(DWS)时区相关知识
数字化浪潮汹涌而来,在5G、云、AI加持下,数仓不断升级演进,激发千行百业的创新和数字化转型。企业DBA更应该从传统的“数据保管人和数仓守护者”角色进行转变。在数仓的易操作、便捷维护等基础上,DBA需要更多地理解业务,用数据回答来自业务方面的诉求,而不仅仅是维护数仓的健康稳定运行,这真的是DBA们的机遇所在。
本合集为《大厂内参》008期,欢迎大家持续关注。
大厂内参
根据开发者普遍关注的热门技术领域,汇编实践精华内容。从业务场景选型,应用案例分析,到前瞻趋势预测。以专题的形式,深度解读华为云核心技术,分享一线工程师的实战经验。
【第一期】敏捷&Devops:80+篇实践干货分享,深度解读敏捷&DevOps如何革新软件开发
【第二期】数据库:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库
【第三期】云服务器:选型解读+案例分享:云服务器“软硬技术”全公开
【第四期】人工智能:海量实战经验教你零门槛进场AI开发,无成本负担玩转AI应用
【第五期】云原生:读懂云原生2.0,看它如何重塑业务开发架构
【第六期】云安全:Get防范云安全的必杀技,学会构建云上完整安全体系
【第七期】物联网:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT
- 点赞
- 收藏
- 关注作者
评论(0)