非结构化数据暴增,企业如何稳定高效的支撑日均百亿级访问?

Cassandra官方 发表于 2021/08/25 15:16:19 2021/08/25
【摘要】 5G时代来临,游戏、视频直播成为当下最为热门的娱乐方式,网上冲浪更快更满足。但数据量的爆发式增长带来的系统响应速度迟缓、数据库无损扩容难、数据存储成本陡增等问题扑面而来。以视频业务为例,每秒10万业务请求时,单表产生的数据量可能会高达数十亿。数据量暴增则需要扩容,对于传统...

5G时代来临,游戏、视频直播成为当下最为热门的娱乐方式,网上冲浪更快更满足。但数据量的爆发式增长带来的系统响应速度迟缓、数据库无损扩容难、数据存储成本陡增等问题扑面而来。

以视频业务为例,每秒10万业务请求时,单表产生的数据量可能会高达数十亿。数据量暴增则需要扩容,对于传统自建数据库,扩容过程非常复杂,数据库系统扩容需要提前几个月去做规划,细致的部署,缜密的实施,需经历上线-灰度-再验证等过程,由于业务有变化起伏,当业务高峰过了后需要面临缩容的痛苦,否则将会造成极大的资源浪费,这是传统架构带来的必然问题。

今天就来聊聊华为云GaussDB(for Cassandra)面对内容分发、视频直播等领域如何更低成本助力企业乘风破浪,快速应对业务百亿数据量增长。

以互联网公司的某内容分发平台为例,坐拥数十亿用户,月活量高达数亿,迁移时每日新增几十万客户,每日业务访问量高达上百亿次,数据量高达数百亿。对于企业来讲,除了面临海量数据的高效处理、弹性扩容外,兼顾企业的使用成本更是重中之重。

无忧迁移百亿数据量,分钟级快速扩展

首先,解决无忧搬迁海量数据尤为重要,华为云数据库提供了数据复制服务DRS,在不影响业务的情况下,可搬迁数据规模超过10TB,单表高达数百亿数据;同时可支持将数据反向同步到源库,可保证两边的数据一致性。

其次,华为云GaussDB(for Cassandra) 多副本策略下沉到共享存储,大幅提升弹性伸缩能力,计算节点按需扩展,不需要做数据迁移;支持一键扩缩容,扩缩容耗时仅分钟级别,相比开源Cassandra扩容时长提升几十倍,可轻松应对业务变化。

降低成本、无损升级,业务无感知

相比开源Cassandra,相同性能下的引擎规格,华为云GaussDB(for Cassandra) 2U8G规格的费用仅为开源Cassandra 8U32G规格的70%,同时免去了后续扩容存储等数据搬迁各项工作。此外,华为云GaussDB(for Cassandra)提供了无损升级方案,实现升级期间业务基本无感知。

轻松满足多维度、大数据量复杂查询场景

在信息流、内容分发场景中,华为云GaussDB(for Cassandra)自身在写性能上具有先天优势,针对客户查询场景复杂及查询性能要求高的特点,GaussDB在大数据量查询性能进行了优化,引入视图增强特性,并对表结构进行优化设计,满足了信息流、内容搜索等业务的查询需求。

支持内容自动推荐,流服务助力客户轻松捕获数据变更

内容分发场景,客户使用最多的便是自动推荐系统,由于传统NoSQL数据库无法做搜索引擎,所以需要将数据同步到搜索服务中支撑搜索功能。在内容管理业务中,一般都会用到经典应用场景---数据变更捕获完成数据同步,华为云GaussDB(for Cassandra) 实现了Stream功能,支持数据同步到搜索引擎中,完美支撑了在线大数据分析,内容自动推荐等场景。

支撑离线大数据分析,支持丰富的文件类型

一般来说,互联网内容分发平台在用户系统、内容处理、信息流服务等场景中都有数据离线导出的需求。而需要分析的数据系统会定期导出到OBS(对象存储服务)上,等分析数据时再从OBS上获取数据进行分析处理。华为云GaussDB(for Cassandra)对导出的过程进行了优化,缩短导出时长,增加导出的文件类型,支持更多的离线分析系统、离线分析能力。

当前,华为云GaussDB(for Cassandra)成功赋能了工业制造、气象业、互联网等行业,其中助力华为消费者云高效管理全球最大Cassandra节点1+。华为云GaussDB(for Cassandra)通过解决大集群、大数据量下的性能稳定、数据一致性、可用性等问题,可支撑企业业务快速增长。此外,数字化时代下,视频直播、内容分发给人们带来了更为精准的娱乐体验,华为云GaussDB也将持续打造先进的技术,让人们更快乐的享受数字化服务。




本文作者:华为云高斯Cassandra团队

杭州西安深圳简历投递zhaojuan.zhao@huawei.com

更多技术文章,请关注:高斯Cassandra官方博客

更多产品信息,请关注:高斯Cassandra产品官方主页

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:cloudbbs@huaweicloud.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。