【沃土方案--大数据】柏睿数据-实时云数仓

HuaweiCloudDeveloper 发表于 2022/03/29 17:25:14 2022/03/29
【摘要】 柏睿实时云数仓服务,基于柏睿数据公司自研的新一代分布式内存数据库技术,为用户提供云原生的数据仓库(DWS)服务,具备极速多表关联查询能力,兼容MySQL协议,每个用户资源独立部署,微服务弹性伸缩架构,为BI等分析业务带来强劲的发动机!

公司简介:北京柏睿数据技术股份有限公司(简称:柏睿数据)是一家以数据库为核心的“Data+AI”数据智能基础软件公司和国家级专精特新小巨人企业,瞄准、突破核心基础关键技术,构建完全自主研发的新一代全内存分布式数据库RapidsDB和人工智能等智能数据算力产品体系,为政府及国民产业数字化转型升级赋能。

LOGO:    

方案概述:

  • 方案概述及价值

随着大数据云时代的来临,用户需要处理的数据量呈爆炸式增长。基于传统磁盘的数据仓库受限于磁盘读写速度,面临着数据存不下、查不出、扩容难、云环境运行不友好的痛点。

柏睿实时云数仓服务,基于柏睿数据公司自研的新一代分布式内存数据库技术,为用户提供云原生的数据仓库(DWS)服务,具备极速多表关联查询能力,兼容MySQL协议,每个用户资源独立部署,微服务弹性伸缩架构,为BI等分析业务带来强劲的发动机!

  • 解决方案架构图


柏睿数据与中原鲲鹏创新中心联手,结合华为云GaussDB数据库,共同完成实时云数仓系统在华为云上的方案构建。双方技术团队针对系统功能、性能、安全方面进行了多场景化测试,并获得沃土云创Enabled认证。

实时云数仓对外提供三个接口:

  • 系统管理员:为系统管理员提供WEB页面,负责与云厂商API对接,实现数据库集群建立、删除等功能所需的云资源调度。
  • DBA自助门户:每个集群都有独立的数据库管理Portal云主机,实现管理与业务分离。为用户的数据库管理员提供自助操作数据库集群,数据库集群的自动化处理等功能。
  • SQL应用程序接口:底层基于柏睿数据全内存分布式数据库,通过数据库网关为应用程序提供兼容MySQL协议的数据库服务。每个数据库集群,都使用独立的云资源部署,以保证集群的数据安全与性能稳定。

下图是实时云数仓使用500G TPC-H测试数据,与其他云数仓产品使用同等规格云主机环境下,比较顺序执行22TPC-H语句的总时间结果。

应用案例

案例1

某国内四大银行之一的普惠金融业务,原系统使用国际商用数据库产品+分布式搜索分析引擎,具有如下不足:

  • 不支持大数据量表中文本字段的模糊查询
  • 不支持客户标签表200多个字段中的自由组合查询
  • 不兼容标准SQL语句且不支持多表关联查询
  • 学习成本高且效率低

柏睿数据全内存分布式数据库按客户的金融级要求,通过了如下测试场景:

  • 全中文关键字业务查询、多表联合查询、并发查询、节点整体故障、某一存储节点故障、主节点故障、备份与恢复用户收益

柏睿数据全内存分布式数据库承载的普惠金融业务已同时服务超过5个省份,为用户带来如下收益:

  • 低延迟:五表联合查询分析秒级响应
  • 高并发:800并发查询秒级响应,性能随集群的扩展而线性提升
  • 通用性:兼容SQL语句,支持中文关键字
  • 高吞吐:可承载大量的用户操作海量数据

案例2

某部委数据快速分析平台,每月流入数据量庞大,需要从中获取有价值的数据来支持精准化的扶贫、助残等工作,数据与数据之间的关联关系错综复杂,使得计算任务进行得非常艰难,给该部委工作人员带来了巨大的压力。

柏睿数据通过自研的全内存分布式数据库,为用户构建了快速数据分析平台,将原先需要数天处理的数据任务加速到分钟级完成,不仅提升了数据处理能力,还帮助完善数据算法,提升数据结果的精准度。

相较于传统商业数据库,柏睿数据全内存分布式数据库将业务查询速度提高了8-19倍。

  • 免费测试

截至4月底,柏睿数据在华为云中准备了一个最小规模集群,仅包含一台4vCPU 16G内存 100G SSD云硬盘的计算节点,并内置10G TPC-H数据,提供4个免费测试名额,让用户直观感受到实时云数仓产品的极致分析速度。如感兴趣,请发邮件申请。

虽然这个测试环境只有一个4C16G计算节点,但得益于柏睿数据自研的新一代内存数据库技术,该测试环境顺序执行22条语句3次后的平均执行时间只有1174ms,而且最高支持5并发同时测试TPC-H语句而没有错误!


下图是测试环境的拓扑图:

证书展示:

了解更多:
伙伴官网

http://www.boraydata.com/

伙伴联系方式

jeslyn.guo@boraydata.com

友情链接:


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。