华为云GeminiDB，广告RTA的“登云梯”

举报
GaussDB 数据库 发表于 2024/04/07 17:50:24 2024/04/07
【摘要】 行话说，广告RTA要想效果好，数据库挑战少不了。那么，广告RTA对数据库究竟有哪些挑战？在上篇文章《究竟什么样的数据库，才能承接RTA广告这个技术活》中，介绍了广告RTA对数据库的挑战，本文我们将详细介绍GeminiDB在广告RTA中的优势特性。广告RTA业务面临高并发、超低时延、超大数据量等实际特性需求，因此，对核心画像数据库有如下诉求：海量数据快速导入，确保决策精准性需要定期将成百GB甚...

行话说，广告RTA要想效果好，数据库挑战少不了。那么，广告RTA对数据库究竟有哪些挑战？在上篇文章《究竟什么样的数据库，才能承接RTA广告这个技术活》中，介绍了广告RTA对数据库的挑战，本文我们将详细介绍GeminiDB在广告RTA中的优势特性。


广告RTA业务面临高并发、超低时延、超大数据量等实际特性需求，因此，对核心画像数据库有如下诉求：
  • 海量数据快速导入，确保决策精准性
需要定期将成百GB甚至数TB全量画像数据导入画像数据库；全量数据导入越快，模型越精准，广告投放效果越好。
  • 承载高并发访问
RTA系统要承接大量的实时竞价请求。以电商、金融客户的RTA系统为例，经验上，日常数据库QPS在几十万到数百万之间。
  • 保持稳定的低时延
媒体侧要求广告主在40-100ms内返回决策结果；数据库需要在个位数毫秒内执行完请求。
  • 降低业务成本
为了追求极致的性能体验，RTA业务通常使用开源自建Redis，然而TB级别数据存储成本非常昂贵，成本也是广告主选型的重要考虑因素。

在广告RTA中，通常选用以下数据库作为画像数据库：
  • MySQL：难以满足数十万至百万QPS并发和低时延的要求。
  • MongoDB/Hbase：可以存储TB级数据，成本便宜，但无法满足稳定低时延诉求，超时率高，容易导致停投，影响商业利益。
  •  内存数据库：能提供高并发、低时延极致性能，如开源自建Redis，是业界选用比较多的方案。但存在着稳定性差，数据丢失等风险。对于TB级用户画像数据，存在导入速度慢和成本高的痛点。

而华为云数据库GeminiDB Redis接口完全具备“稳定低时延、高性价比、FastLoad离线数据极速导入”等核心能力。

核心能力一：FastLoad极速数据导入，效率提升5-10倍


传统数据库只能通过标准协议逐条写入数据，先经过计算层复杂结算，再写入存储层。因此，大数据平台定期导入的数百GB乃至数TB的画像数据，通常需要数小时或者数天，且对在线业务影响比较大。

GeminiDB提供的FastLoad企业级特性，依托RTA业务场景大数据平台的高并发处理能力和自身存储引擎的数据编排能力，将海量数据通过专属高速持久化通道直接传入存储引擎，数据导入速度提升5-10倍，并降低对在线业务的影响。

1.PNG

GeminiDB FastLoad企业级特性与RTA场景

核心能力二：提供百万级并发和亚毫秒级延迟，无惧业务洪峰


华为云GeminiDB采用存算分离架构，通过分布式高性能存储池实现三副本、强一致的数据存储，所有节点高效读、写访问，支持算力水平和垂直扩展，能够轻松应对业务规模和数据量的爆炸式增长。同时，通过采用多线程架构和高性能存储池，配合内存数据结构和访问算法的深度优化，GeminiDB能够实现亚毫秒级的数据请求响应。

这种超低时延的性能，对需要实时数据处理和分析的应用场景，如在线游戏、金融科技、广告系统和实时推荐系统，提供了强大的数据支持，GeminiDB成为处理大规模实时交互和高频交易等场景的理想选择。

根据现网的案例经验，在百万+QPS流量下，GeminiDB可稳定保持平均时延1ms，p99时延2ms。

2.PNG

核心能力三：高效数据压缩存储，效率与成本并行

GeminiDB使用“逻辑数据+块数据”双重压缩机制，在不牺牲性能的前提下，大幅度降低数据的存储占用。同时，采用存算分离架构，将算力和数据存储解耦，支持独立弹性扩展。这意味着企业可以以更低的成本存储更多的数据，极大地优化资源利用效率，降低整体的使用成本。

3.PNG

根据现网案例经验，GeminiDB的数据压缩比通常为4:1，即实际12TB数据，在GeminiDB中仅占用3TB左右的存储空间。

总结


华为云GeminiDB数据库凭借自身在RTA场景上海量离线数据极速导入、高性能稳定低时延、节约存储成本等卓越性能，已经成为金融、广告、推荐等业务数字化转型和技术创新道路上的强大伙伴。我们期待与全球的企业和开发者合作，共同探索数据的未来，推动技术和业务的发展。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
云数据库 GaussDB(for Redis) 数据库
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入