宽依赖和窄依赖

讲一下宽依赖和窄依赖

区别宽窄依赖的核心点是 子RDD的partition与父RDD的partition是否是1对多的关系,

如果是这样的关系的话，说明多个父rdd的partition需要经过shuffle过程汇总到一个子rdd的partition,这样就是一次宽依赖,在DAGScheduler中会产生stage的切分.

窄依赖：Narrow Dependency
父RDD和子RDD是一对一的依赖关系，如map，filter

宽依赖：Shuffle Dependency
本质就是shuffle。如reduceByKey，groupyByKey，父RDD一个分区数据给了子RDD的多个分区

存在shuffle就是宽依赖，否则就是窄依赖

RDD 作为数据结构，本质上是一个只读的分区记录集合。一个 RDD 可以包含多个分区，每个分区就是一个数据集片段。

首先，窄依赖可以支持在同一个节点上，以 pipeline 形式执行多条命令（也叫同一个 Stage 的操作），例如在执行了 map 后，紧接着执行 filter。相反，宽依赖需要所有的父分区都是可用的，可能还需要调用类似 MapReduce 之类的操作进行跨节点传递。

其次，则是从失败恢复的角度考虑。窄依赖的失败恢复更有效，因为它只需要重新计算丢失的 parent partition 即可，而且可以并行地在不同节点进行重计算（一台机器太慢就会重新调度到多个节点进行）。