《Spark Streaming实时流式大数据处理实战》 ——3.4 RDD间的依赖方式

3.4  RDD间的依赖方式

　　前面已经提到RDD的容错机制是通过将RDD间转移操作构建成有向无环图来实现的。从抽象的角度看，RDD间存在着血统继承关系，而真正实现的时候，其本质上是RDD之间的依赖（Dependency）关系。

　　从图的角度看，RDD为节点，在一次转换操作中，创建得到的新RDD称为子RDD，同时会产生新的边，即依赖关系，子RDD依赖向上依赖的RDD便是父RDD，可能会存在多个父RDD。我们可以将这种依赖关系进一步分为两类，分别是窄依赖（Narrow Dependency）和Shuffle依赖（Shuffle Dependency在部分文献中也被称为Wide Dependency，即宽依赖）。

3.4.1  窄依赖（Narrow Dependency）

　　窄依赖中，即父RDD与子RDD间的分区是一对一的，换句话说，父RDD中，一个分区内的数据是不能被分割的，只能由子RDD中的一个分区整个利用。几类常见的窄依赖及其对应的转换操作如图3.4所示。

　　图3.4中，P代表RDD中的每个分区（Partition），我们看到，RDD中每个分区内的数据在上面的几种转移操作之后被一个分区所使用，即其依赖的父分区只有一个。比如图中的map、union和join操作，都是窄依赖的。注意，join操作比较特殊，可能同时存在宽、窄依赖。

图3.4  RDD窄依赖