作者小头像 Lv.2
更多个人资料
89 成长值
3 关注
0 粉丝
+ 关注 私信

个人介绍

浪浪山下那个村。欢迎访问个站：https:www.zeekling.cn

感兴趣或擅长的领域

大数据、数据库
个人勋章
TA还没获得勋章~
成长雷达
80
9
0
0
0

个人资料

个人介绍

浪浪山下那个村。欢迎访问个站：https:www.zeekling.cn

感兴趣或擅长的领域

大数据、数据库

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 大数据
Yarn 状态机以及事件机制
简介Yarn采用了基于事件驱动的并发模型：所有状态机都实现了EventHandler接口，很多服务（类名通常带有Service后缀）也实现了该接口，它们都是事件处理器。需要异步处理的事件由中央异步调度器（类名通常带有Dispatcher后缀）统一接收/派发，需要同步处理的事件直接交给相应的事件处理器。某些事件处理器不仅处理事件，也会向中央异步调度器发送事件。事件处理器定义事件处理器定义如下：...
Yarn
作者小头像 浪浪山下那个村 2024-02-25 21:24:01
1515
0
0
2024-02-25 21:24:01
999+
0
0
Debian 9如何升级到Debian 10
1、背景由于本人使用的自建代码仓Gitea在docker 19版本存在bug，导致一个MR只能提交一个commit，提交第二个的时候MR就没办法merge了。当然想要解决这个问题有两个办法：在Debian 9上面安装Docker 20以后的版本，但是apt源里面没有，可以考虑安装Debian 10对应的Docker。将Debian 9升级到Debian 10，顺便安装最新版本的Docker...
Docker
作者小头像 浪浪山下那个村 2023-10-22 21:16:40
4286
0
0
2023-10-22 21:16:40
999+
0
0
RocksDB 详解
简介RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识： LSM树LSM树全称Log-Structured ...
Flink
作者小头像 浪浪山下那个村 2023-10-22 21:16:06
4481
0
0
2023-10-22 21:16:06
999+
0
0
记录一次由于Jar包冲突导致的神奇问题
背景今天同事找我帮忙看一个Flink的问题，现象是前几天还能提交的客户端，就在今天突然提交不了作业了，报错提示大概如下（公司的东西涉密）Caused by: org.apache.flink.api.common.InvalidProgramException: The LocalStreamEnvironment cannot be used when submitting a prog...
Flink JAR
作者小头像 浪浪山下那个村 2023-05-23 00:17:45
1872
0
0
2023-05-23 00:17:45
999+
0
0
Flink资源调优
内存设置 TaskManager 内存模型TaskManager的内存模型如下图所示(1.10之后版本内存模型)：Flink使用了堆上内存和堆外内存。Flink 框架内存使用了堆外内存和堆外内存，不计入slot资源。Task执行的内存使用了堆上内存和堆外内存。网络缓冲内存：网络数据交换所使用的内存大小，如网络数据交换缓冲区。框架堆外内存、Task堆外内存、网络缓冲内存都在堆外的直接内存里面...
Flink
作者小头像 浪浪山下那个村 2023-05-10 21:23:38
3616
0
0
2023-05-10 21:23:38
999+
0
0
Flink状态后端和CheckPoint 调优
RocksDB 介绍RocksDB 是嵌入式的 Key-Value 数据库，在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示，RocksDB 持久化的 SST文件在本地文件系统上通过多个层级进行组织，不同层级之间会通过异步Compaction 合并重复、过期和已删除的数据。在 RocksDB 的写入过程中，数据经过序列化后写入到WriteBuffer...
Flink
作者小头像 浪浪山下那个村 2023-05-08 00:00:11
6887
0
1
2023-05-08 00:00:11
999+
0
1
Flink SQL 优化
设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的...
Flink SQL
作者小头像 浪浪山下那个村 2023-05-07 23:59:21
4725
0
0
2023-05-07 23:59:21
999+
0
0
Flink作业反压处理
简介反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafkaconsumer）的摄入速率。简单来说...
Flink Socket编程
作者小头像 浪浪山下那个村 2023-05-07 23:58:23
1841
0
0
2023-05-07 23:58:23
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注