个人介绍
这个人很懒，什么都没有留下
感兴趣或擅长的领域
暂无数据
个人勋章
TA还没获得勋章~
成长雷达
90
0
0
0
0
达成规则
全部时间
全部时间
最近三天
最近一周
最近一月
- 全部
- 暂无专栏分类
DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。
它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。
它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。
999+
0
1
2022-04-14 18:02:30
MRS上使用spark提交任务经常引入一些三方依赖包，本文主要介绍几种添加依赖包的方式。
999+
0
0
2021-10-11 20:46:44
Spark能对接很多的三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。
999+
0
0
2021-04-17 16:21:59
使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。
999+
0
0
2021-03-29 14:41:36
yarn还有资源，为什么我任务启动更多的container；
yarn队列资源为什么能使用到200%，超过限制使用值；
yarn还有资源，但是提交任务一直处于Pending状态；
999+
1
1
2020-07-08 16:17:02