Flink从入门到精通100篇(二十三)-基于Apache Flink的爱奇艺实时计算平台建设实践

举报
格图洛书 发表于 2021/11/19 00:13:37 2021/11/19
【摘要】 前言 随着大数据的快速发展,行业大数据服务越来越重要。同时,对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。 今天的介绍会围绕下面三点展开: Flink的现状与改进 平台化的探索和实践:实时计算平台 Flink业务案例 01Flink的现状与改进...

前言

随着大数据的快速发展,行业大数据服务越来越重要。同时,对大数据实时计算的要求也越来越高。今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践。

今天的介绍会围绕下面三点展开:

  • Flink的现状与改进

  • 平台化的探索和实践:实时计算平台

  • Flink业务案例

01Flink的现状与改进

1. Flink现状

首先和大家分享下爱奇艺大数据服务的发展史。

 

  • 2012年搭建了第一个Hadoop集群,当时只有大概20几个节点,使用的计算框架是MapReduce和Hive等

  • 到2013,2014年,开始使用Hadoop 2.0,上线了Storm和Spark,由于Storm的使用性和稳定性不够好,被放弃使用,转而使用Spark

  • 2015年发布了第一个实时计算平台Europa,上线了Kafka

  • 2017年使用了Flink,同时我们基于Spark和Flink打造了流式计算引擎St

文章来源: wenyusuran.blog.csdn.net,作者:文宇肃然,版权归原作者所有,如需转载,请联系作者。

原文链接:wenyusuran.blog.csdn.net/article/details/108406093

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。