《企业级大数据平台构建：架构与实现》——2.5.3　编程模型和作业调度

2.5.3　编程模型和作业调度

Spark将RDD的操作分为两类：转换（transformation）与行动（action）。转换操作是一种惰性操作，它只会定义新的RDD，而不会立即执行。而行动操作则是立即执行计算，它要么返回结果给Driver进程，或是将结果输出到外部存储。常见转换操作如map、f?latMap、f?ilter等，常见行动操作如count、collect等。

当用户对一个RDD执行了行动操作之后，调度器会根据RDD的依赖关系生成一个DAG（有向无环图）图来执行程序。DAG由若干个stage组成，每个stage内都包含多个连续的窄依赖。而各个stage之间则是宽依赖。如图2-15所示，实线方框代表的是RDD。方框内的矩形代表分区，若分区已在内存中保存则用黑色表示。

图2-15　Spark任务拆分示意