华为云企业级Redis:助力VMALL打造先进特征平台

举报
GaussDB 数据库 发表于 2021/10/13 18:08:36 2021/10/13
【摘要】 云数据库GeminiDB Redis接口作为华为云旗下企业级Redis,致力于为客户提供稳定可靠、超高并发,且能够极速弹性扩容的KV存储服务。GeminiDB Redis接口在VMALL特征工程平台建设中,起到了关键作用。

1、客户介绍

华为商城(VMALL)是华为公司旗下的自营电子商务平台,以最终用户为主要对象,提供华为手机、无线上网设备、平板电脑、配件等系列终端产品和服务,是以营造用户的移动信息生活为服务宗旨的互联网商务平台。

云数据库GeminiDB Redis接口作为华为云旗下企业级Redis,致力于为客户提供稳定可靠、超高并发,且能够极速弹性扩容的KV存储服务。GeminiDB Redis接口在VMALL特征工程平台建设中,起到了关键作用。

2、业务痛点

VMALL使用了大量的AI和大数据技术,用来支撑智能推荐,精准营销,智能搜索,选品投放等业务的高效开展。

1.png

随着业务的快速发展,系统对AI算法模型的需求日益增多。当前的AI开发流程中,“模型训练”和“模型部署”阶段都已经有成熟的平台支撑,唯独“特征数据准备”阶段缺乏通用平台,

2.png

3.png

导致了“线上推理和线下训练的特征数据不一致”,“各算法模型独立开发,特征生产重复造轮子”,“特征工程投入时间多(占据算法开发耗时的60%-70%)”3个关键问题,严重影响了研发效率,阻碍业务发展。为解决此问题,VMALL大数据团队开始着手建设统一的特征平台。
特征平台的核心部件是特征存储数据库,只有通过统一的特征数据存储,才能改变原有的“数据孤岛”窘境,彻底解决“不一致”,“难共享”,“效率低”3大问题。但也正是由于特征数据库需要承担打通线上/线下多个场景,对接批式/流式多种数据源,满足训练/推理多样消费需求,对特征数据库的选型提出了非常高的要求:需要找到一款数据存储服务,既能提供低成本的海量数据存储并方便扩容,又能保证数据的绝对可靠和服务的高可用;既要满足低时延的线上推理,又要满足高吞吐的线下训练;既能提供简洁的KV接口供下游轻松消费,又要兼容主流的批式/流式处理引擎(Spark/Flink等)供上游快速接入。

经过深入调研,VMALL大数据团队最终选择了GeminiDB Redis接口作为特征数据库,下面就让我们详细看看GeminiDB Redis接口是如何满足上述苛刻要求的。

2.png

4.png

3、解决方案

1.    特征平台使用GeminiDB Redis接口的主要流程

1)特征生产(抽取、处理、存储)

2.png

5.png

  • 离线特征(静态特征):定时调度Spark作业,从各种数据仓库、数据湖中提取数据,进行特征工程处理后,存入GeminiDB Redis接口。
  • 实时特征(动态特征):Flink消费Kafka,或流式存储中的数据,持续更新到GeminiDB Redis接口中。

1)特征消费

2.png

6.png

  • 线上推理:模型已经部署到生产,开始承接业务,需要低时延,高并发的消费数据,从GeminiDB Redis接口中读取数据。
  • 线下训练:GeminiDB Redis接口存有最新的特征数据,OBS中存有全量的特征数据。
  1. 对于使用静态特征的较为简单的模型,可以直接从OBS中获取特征使用。
  2. 对于使用实时特征的场景(如实时推荐系统),由Flink从Kafka中实时取得用户请求记录,并从GeminiDB Redis接口查询取得特征,将记录和特征拼接成训练样本,存储到文件中,供线下训练使用。

2.  特征平台对GeminiDB Redis接口的核心诉求

结合上述业务场景,总结特征平台对GeminiDB Redis接口核心诉求如下:

序号

类别

诉求点

1

业务接口

支持简洁的KV接口(不需要范围查询),支持和Spark/Flink快速对接,提升业务开发效率

2

稳定性

作为电商应用的关键支撑系统,需要具备企业级应用的稳定性。如社区Redis存在的fork抖动,oom等问题,需要解决

3

可靠性

特征数据决定了最终给客户的推荐效果,需要确保数据零丢失,强一致

4

成本

特征数据体量庞大,希望采用内存+磁盘混合存储,降低使用成本

5

性能

抗写能力必须强,满足特征数据批量灌库的要求;读取总体要低时延,但非缓存场景,可接受非活跃用户的时延毛刺

6

可扩展性

随着业务发展,特征数据上量很快;扩容要简单,快速,业务影响尽量小

3. GeminiDB Redis接口满足特征平台诉求的关键方案

1)业务接口

GeminiDB Redis接口兼容社区Redis5.0接口,支持和Spark/Flink Connector的对接,很好的满足了业务的使用需求

2)稳定性

GeminiDB Redis接口采用自研内核,解决了社区Redis的fork,oom等老大难问题,具备了企业级应用的稳定性

3)可靠性

  • 数据零丢失:逐条命令实时落盘,底层三副本冗余存储,无数据丢失风险
  • 数据强一致:基于GaussDB公共的共享存储部件DFV,实现三副本强一致,多点访问无脏读风险

4)成本

GeminiDB Redis接口实现数据的自动冷热分离,采用内存+SSD的混合存储方案,大幅降低了客户的使用成本。按照VMALL的特征体量测算,亿级用户,每个用户的特征数量是数K-数10K,GeminiDB Redis接口一年的费用仅3W出头,如果选用社区Redis,费用在20W+

5)性能

GeminiDB Redis接口采用多线程架构,并且所有节点可以同时支持写入,因此可以较好满足批量灌库的高吞吐写需求。读方面,基于冷热分离方案,热数据常驻内存提供稳定低时延;冷数据读涉及IO交换,存在一定长尾,但可满足VMALL业务要求(目前VMALL线上GeminiDB Redis接口实例读时延平均0.16ms,P99 0.4ms,P9999 1.5ms)

6)可扩展性

基于计算存储分离架构,底层数据可被任一节点访问,扩容过程不发生数据拷贝搬迁,因此速度极快;计算节点扩容分钟级完成,存储扩容秒级完成,RTO < 10

综上,与社区Redis相比,GeminiDB Redis接口提供了更稳定的使用体验,更可靠的数据存储,更低廉的使用成本和更便捷的扩展能力,是更适合像VMALL特征平台这样大规模电商大数据应用的企业级Redis服务。因此,VMALL特征平台最终选择GeminiDB Redis接口作为特征数据的存储服务。

4、上线后效果

目前VMALL已完成一期的特征数据迁移,包括“特征生产”业务中的“Spark离线特征生产”,以及“特征消费”业务中的“线下训练Flink特征查询”,已迁移到GeminiDB Redis接口。

当前GeminiDB Redis接口运行平稳,业务高峰时段时延稳定,能够满足VMALL当前业务要求。其中,读平均时延0.2ms(p99<0.4ms),写入平均时延0.6ms(P99<2ms)。

VMALL当前已启动二期的特征数据迁移,计划完成包括“Flink在线特征生成”,“线上推理”等核心业务的接入。

5、 总结

本文介绍了华为商城(VMALL)在建设特征平台过程中,对特征数据存储服务的选型和应用。由此可见,华为云GeminiDB Redis接口服务在成本,可靠性,可扩展性等方面具有优势,可作为特征数据存储的理想方案,提供企业级的稳定可靠的Redis服务能力。

6、附录

GeminiDB Redis接口产品主页:

https://www.huaweicloud.com/product/gaussdbforredis.html

更多技术文章,请关注GeminiDB Redis接口官方博客:

https://bbs.huaweicloud.com/community/usersnew/id_1614151726110813

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。