《Spark Streaming实时流式大数据处理实战》 ——3.4.2 Shuffle依赖（宽依赖Wide Depende

3.4.2  Shuffle依赖（宽依赖Wide Dependency）

　　Shuffle有“洗牌、搅乱”的意思，这里所谓的Shuffle依赖也会打乱原RDD结构的操作。具体来说，父RDD中的分区可能会被多个子RDD分区使用。因为父RDD中一个分区内的数据会被分割并发送给子RDD的所有分区，因此Shuffle依赖也意味着父RDD与子RDD之间存在着Shuffle过程。几类常见的Shuffle依赖及其对应的转换操作如图3.5所示。

　　同样，图3.5的P代表RDD中的多个分区，我们会发现对于Shuffle类操作而言，结果RDD中的每个分区可能会依赖多个父RDD中的分区。

　　需要说明的是，依赖关系是RDD到RDD之间的一种映射关系，是两个RDD之间的依赖，如果在一次操作中涉及多个父RDD，也有可能同时包含窄依赖和Shuffle依赖，join操作如图3.6所示。

图3.5  RDD宽依赖

图3.6  宽、窄依赖并存的join操作

　　我们会发现图3.6中的join操作，其中一个RDD是窄依赖，而另一个RDD是宽依赖，这就是join操作可能同时存在宽、窄依赖。