作者小头像 Lv.1
更多个人资料
20 成长值
0 关注
1 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
20
0
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
Spark通信-Dispatcher
Spark作为优秀的大数据处理的处理框架，需要通过集群机器的协作来高效的处理数据，为了实现集群的功能，机器之间稳定及高性能的通信就成为了必要条件.为此，spark在2.x的版本就使用netty彻底替换掉了akka，作为spark的通信框架，并设计了如下通讯架构: 1.RpcEndpoint：RPC端点，Spark针对每个节点（Client/Master/Worker）都...
EI企业智能 智能数据 数据湖探索 DLI
作者小头像 CreamCrystal 2020-09-23 10:26:13
7714
0
1
2020-09-23 10:26:13
999+
0
1
Spark任务参数优化
当我们提交Spark作业的时候，Spark作业会启动Driver进程去运行Application的main()函数，并且创建SparkContext，然后通过SparkContext与集群管理器申请Spark作业所需的资源，即Spark作业所需要的Executor进程。集群管理器会根据提交作业的资源参数设置，为各个工作节点分配相应数量的Executor,以及每个Executor...
EI企业智能 人工智能
作者小头像 CreamCrystal 2020-07-09 09:48:20
8197
0
0
2020-07-09 09:48:20
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注 私信