MapReduce中shuffle阶段概述及计算任务流程

        在小菌上一篇博客《什么是MapReduce(入门篇)》中,小菌已经为大家介绍了MapReduce的相关概念介绍。其中谈到了MapReduce主要由Map和Reduce两个过程组成!事实上,为了让Reduce可以并行处理Map的结果,需要对Map的输出进行一定的分区(Partition),排序(Sort),合并(Combine),分组(Group)等操作,得到<key,value-list>形式的中间结果,再交给对应的Reduce 进行处理,这个过程也就是小菌需要为大家介绍的,叫做Shuffle(混洗)!

        先让我们来看下Shuffle阶段的四个操作的具体功能演示(下图的3~6步操作)。

        是不是有点丈二和尚——摸不着头脑,不要着急,让小菌来告诉大家更详细的步骤过程!

第5步：对输出的key，value对进行分区。相同key的数据发送到同一个reduce里面去，相同key合并，value形成一个集合
第6步：对不同分区的数据按照相同的key进行排序
第7步：对分组后的数据进行规约(combine操作)，降低数据的网络拷贝（可选步骤）
第8步：对排序后的额数据进行分组，分组的过程中，将相同key的value放到一个集合当中

        下面小菌将为大家介绍MapReduce的整个任务执行过程!(由于空间有限,2,3步骤过程较为抽象,只做文字说明)

        具体每步的详细流程如下:

第1步：InputFormat
InputFormat 到hdfs上读取数据
将数据传给Split
第2步：Split
Split将数据进行逻辑切分，
将数据传给RR
第3步：RR(RecordReader)
RR:将传入的数据转换成一行一行的数据，输出行首字母偏移量和偏移量对应的数据
将数据传给MAP
第4步：MAP
MAP:根据业务需求实现自定义代码
将数据传给Shuffle的partition
第5步：partition
partition:按照一定的分区规则，将key value的list进行分区。
将数据传给Shuffle的Sort
第6步：Sort
Sort:对分区内的数据进行排序
将数据传给Shuffle的combiner
第7步：combiner
combiner:对数据进行局部聚合。
将数据传给Shuffle的Group
第8步：Group
Group:将相同key的key提取出来作为唯一的key,
将相同key对应的value获取出来作为value的list
将数据传给Reduce
第9步：Reduce
Reduce：根据业务需求进行最终的合并汇总。
将数据传给outputFormat
第10步：outputFormat
outputFormat:将数据写入HDFS

        本次关于MapReduce计算任务流程的的介绍就到这里了,关于流程中shuffle阶段的Partition分区算法以及split的逻辑切分规律,小菌会在后续的博客中为大家解答,感兴趣的小伙伴们记得关注小菌哟!٩(๑❛ᴗ❛๑)۶

文章来源: alice.blog.csdn.net，作者：大数据梦想家，版权归原作者所有，如需转载，请联系作者。

原文链接：alice.blog.csdn.net/article/details/103061572