Lv.1
CreamCrystal
更多个人资料
20
成长值
0
关注
1
粉丝
+ 关注
私信
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
20
0
0
0
0
个人资料
个人介绍
这个人很懒,什么都没有留下
感兴趣或擅长的领域
暂无数据
达成规则
以上满足
项可达成此勋章
博客
关注
粉丝
论坛
全部时间
全部时间
最近三天
最近一周
最近一月
全部
暂无专栏分类
Spark通信-Dispatcher
Spark作为优秀的大数据处理的处理框架,需要通过集群机器的协作来高效的处理数据,为了实现集群的功能,机器之间稳定及高性能的通信就成为了必要条件.为此,spark在2.x的版本就使用netty彻底替换掉了akka,作为spark的通信框架,并设计了如下通讯架构: 1.RpcEndpoint:RPC端点,Spark针对每个节点(Client/Master/Worker)都...
EI企业智能
智能数据
数据湖探索 DLI
CreamCrystal
2020-09-23 10:26:13
7838
0
1
2020-09-23 10:26:13
999+
0
1
Spark任务参数优化
当我们提交Spark作业的时候,Spark作业会启动Driver进程去运行Application的main()函数,并且创建SparkContext,然后通过SparkContext与集群管理器申请Spark作业所需的资源,即Spark作业所需要的Executor进程。集群管理器会根据提交作业的资源参数设置,为各个工作节点分配相应数量的Executor,以及每个Executor...
EI企业智能
人工智能
CreamCrystal
2020-07-09 09:48:20
8324
0
0
2020-07-09 09:48:20
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
+ 关注