Flink从入门到精通100篇(二十)-跨境电商 Shopee 的实时数仓之路
前言
本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践,主要内容包括:
-
实时数仓建设背景
-
Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景
-
实时任务监控
-
Streaming SQL 平台化
-
Streaming Job 管理
建设背景
Shopee 是东南亚与台湾领航电商平台,覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国及越南七大市场,同时在中国深圳、上海和香港设立跨境业务办公室。
-
Shopee 在2020年第一季的总订单量高达4.298亿,同比增长111.2%。
-
根据 App Annie, Shopee 在2020年第一季强势跻身全球购物类 App 下载量前三名。
-
同时斩获东南亚及台湾市场购物类 App 年度总下载量、平均月活数、安卓使用总时长三项冠军,并领跑东南亚两大头部市场,拿下印尼及越南年度购物类 App 下月活量双冠王。
其中包括订单商品、物流,支付,数字产品等各方面的业务。为了支持这些互联网化产品,应对越来的越多的业务挑战,于是我们进行了数据仓库的设计和架构建设。
数据仓库挑战
当前随着业务发展,数据规模的膨胀和商务智能团队对实时需求的不断增长,业务挑战越来越大:
</
文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。
原文链接:wenyusuran.blog.csdn.net/article/details/108408662
- 点赞
- 收藏
- 关注作者
评论(0)