【大厂内参】第8期:8大场景系列玩转数仓运维,做个不秃头的DBA

举报
华为云社区精选 发表于 2021/03/31 16:22:19 2021/03/31
【摘要】 为了让DBA们通宵加班找故障将成为过去式,减少运维工作量,我们针对华为云GaussDB(DWS)的运维整理了八大系列内容,帮您解决数仓和应用技术转型中遇到的实际问题,让DBA玩转数仓运维“不秃头”。


  每一个奋斗在前线的DBA似乎运气都不太好,他们都经历过的诡异事件大概率是:逢年过节必出故障。眼看着要放假了,又接到故障通知,只好通宵加班找问题。没问题的时候可能大家都不会想到你,一出问题就先拿运维试问,于是每逢佳节便出现拜数据仓库的戏谑图片。
  为了让DBA们加班找故障成为过去式,减少运维工作量,我们选取容灾、负载管理、数据上云等典型运维场景,围绕华为云GaussDB(DWS)多源数据融合分析、计算/存储资源规划、业务连续性的数仓高可用等核心技术,流式数据入库、集群管理、时区调整、扩容等运维技巧,帮助您解决实际业务运维场景中遇到的问题,让DBA玩转数仓运维“不秃头”。

负载管理:让“笨”的数仓“聪明”起来

  从四个核心技术为你解密,GaussDB(DWS)负载管理功能如何做好计算/存储资源的划分,让你的数仓“聪明”起来。

  GaussDB(DWS)负载管理核心技术解密一:全景图及解决的场景
  GaussDB(DWS)负载管理核心技术解密二:白话历史资源监视
  GaussDB(DWS)负载管理核心技术解密三:工作负载管理测试分析
  GaussDB(DWS)负载管理核心技术解密四:工作负载计划解密

保障业务连续性,GaussDB(DWS)高可用有妙招

  GaussDB(DWS)所有内部组件CN、DN、GTM、CM等采用多活或主备设计,通过集群管理进行故障检测和切换。在硬件层面,除了最基本的宕机、断网的直接故障外,GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景,做了大量的建模和针对性优化,能够实现故障的准确探测和自愈。并且还提供了双集群容灾能力,通过跨AZ、跨Region的物理复制,实现异构集群容灾。

  GaussDB(DWS)高可用之数据复制
  GaussDB(DWS)高可用之备机重建
  GaussDB(DWS)高可用之CN&GTM组件高可用介绍
  GaussDB(DWS)高可用之主备从HA技术
  GaussDB(DWS)高可用之单点故障业务不中断
  华为云GaussDB(DWS)数据仓库以2048大规模节点通过信通院评测认证

全方位案例解读数仓数据融合

  GaussDB(DWS)采用一套SQL引擎,支持Oracle、MySQL、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。

  GaussDB(DWS)数据融合:提升企业掌握数据之力

数据上云是趋势,DBA掌握云端运维是关键

  数仓未来是云,越来越多企业面临数仓和应用技术转型,云端运维成数仓运维需要掌握的核心。DWS提供了简单易用的Web管理控制台,帮助您快速创建数据仓库集群,轻松执行数据仓库管理任务。

  GaussDB(DWS)云端运维系列

手敲代码实践展示GaussDB(DWS)流式数据入库的三种方式

  随着金融风控,以及IoT场景对数据实时处理分析的诉求,DWS实时数仓时序数据单机入库性能达10w/s,流数据达60w/s,并能够线性扩展,并且GaussDB(DWS)流式数据可通过Python、C和Java三种接口,让入库全程无忧。

  GaussDB(DWS)流式数据入库实践

[数仓性能调优从掌握最基本命令开始,十八般武艺轻松搞定数仓性能调优]

  数仓性能调优是数仓应用开发和迁移过程中的关键步骤,在整个项目实施过程中占据很大的份量。它没有明确的衡量标准和对错之分,考验的是资深一线技术人员的隐式技能。开发者可通过该系列文章了解数仓的基本原理,然后结合调优思路,对各个调优技巧进行深入的学习。

  数仓性能调优必读:从系统级到SQL级,带你进阶为性能调优高手

一手掌握GaussDB(DWS)集群运维

  GaussDB(DWS)现网运行的PB级数据量以上的大集群已经有10+个,最大商用单集群规模达到240节点。在产品能力上,GaussDB(DWS)可扩展至2048节点,并且该规模在12月已通过信通院的权威评测。另外,还实现了逻辑集群特性,一套物理集群可针对不同业务划分多个逻辑集群,数据相互隔离,支持跨逻辑集群的计算资源调动。通过逻辑集群,可以进一步扩展集群的规模。该系列从基本概念到核心功能,带你了解集群管理、通信等方面的应用之道。

  GaussDB(DWS)集群管理系列
  GaussDB(DWS)集群通信系列
  GaussDB(DWS)逻辑集群系列

这份GaussDB(DWS)基础运维知识,你要收藏

  从理论到升级案例,带你掌握GaussDB(DWS)升级、扩容面临的疑难问题。

  GaussDB(DWS)升级问题定位指南
  GaussDB(DWS)扩容问题定位指南
  GaussDB(DWS)时区相关知识

  数字化浪潮汹涌而来,在5G、云、AI加持下,数仓不断升级演进,激发千行百业的创新和数字化转型。企业DBA更应该从传统的“数据保管人和数仓守护者”角色进行转变。在数仓的易操作、便捷维护等基础上,DBA需要更多地理解业务,用数据回答来自业务方面的诉求,而不仅仅是维护数仓的健康稳定运行,这真的是DBA们的机遇所在。

本合集为《大厂内参》008期,欢迎大家持续关注。


大厂内参

根据开发者普遍关注的热门技术领域,汇编实践精华内容。从业务场景选型,应用案例分析,到前瞻趋势预测。以专题的形式,深度解读华为云核心技术,分享一线工程师的实战经验。


【第一期】敏捷&Devops:80+篇实践干货分享,深度解读敏捷&DevOps如何革新软件开发

【第二期】数据库:从数据库科普到核心技术解读、上云案例分享,全方位剖析云数据库

【第三期】云服务器:选型解读+案例分享:云服务器“软硬技术”全公开

【第四期】人工智能:海量实战经验教你零门槛进场AI开发,无成本负担玩转AI应用

【第五期】云原生:读懂云原生2.0,看它如何重塑业务开发架构

【第六期】云安全:Get防范云安全的必杀技,学会构建云上完整安全体系

【第七期】物联网:“端边云”IoT全栈技术大揭秘,开发实战指南带你轻松上手IoT

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。