Lv.1
kyo
更多个人资料
20
成长值
0
关注
1
粉丝
+ 关注
私信
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
20
0
0
0
0
个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
Flink Connector之Streaming File Sink
Flink提供了一系列Connector用于从第三方存储介质读取和转储数据。其中StreamingFileSink主要用于流式数据文件存储,可将数据写入LocalFile、HDFS、OBS/S3等对象存储系统。由于流式数据是无限的,最终写入到桶中的数据会将按一定策略进行文件划分。用户可自定义文件和桶划分策略。 桶中文件形态如下图: In-progress :当前文件正在写...
存储
kyo
2020-07-20 11:04:10
9747
0
1
2020-07-20 11:04:10
999+
0
1
如何处理Flink的反压问题
一、什么是反压 反压是流处理系统中用来保障应用可靠性的一个重要机制。由于流应用是7*24小时运行,数据输入速率也不是一成不变,可能随时间产生波峰波谷,当某个处理单元由于到来的数据忽然增加,暂时性超出其处理能力时,就会出现数据在接收队列上累积,当数据的累积量超出处理单元的容量时,会出现数据丢失现象甚至因为系统资源耗尽而导致应用崩溃。为此,需要一种反压机制来告知上游处理单元降低数据发送的速率,...
Apache
DLI
kyo
2020-05-26 21:12:21
10638
0
2
2020-05-26 21:12:21
999+
0
2
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注
私信