四十八、shuffle机制

shuffle定义:

        在mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；

        shuffle: 洗牌、发牌（核心机制：数据分区、排序、缓存）;
        

        具体来说：就是将 maptask 输出的处理结果数据，分发给 reducetask ，并在分发的过程中，对数据按 key 进行了分区和排序。

partition分区：        

        （1）如果reduceTask的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000xx；

        （2）如果1<reduceTask的数量<getPartition的结果数，则有一部分分区数据无处安放，会Exception；

        （3）如果reduceTask的数量=1，则不管mapTask端输出多少个分区文件，最终结果都交给这一个reduceTask，最终也就只会产生一个结果文件 part-r-00000；

        （4）分区号必须从零开始，逐一累加。

例如：假设自定义分区数为5，则

（1）job.setNumReduceTasks(1);会正常运行，只不过会产生一个输出文件

（2）job.setNumReduceTasks(2);会报错

（3）job.setNumReduceTasks(6);大于5，程序会正常运行，会产生空文件

流程详解

        （1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中

        （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件

        （3）多个溢出文件会被合并成大的溢出文件

        （4）在溢出过程中，及合并的过程中，都要调用partitoner进行分组和针对key进行排序

        （5）reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据

        （6）reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）

        （7）合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）

         注：Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。

        缓冲区的大小可以通过参数调整，参数：io.sort.mb  默认100M

Combiner合并

        （1）combiner是MR程序中Mapper和Reducer之外的一种组件

        （2）combiner组件的父类就是Reducer

        （3）combiner和reducer的区别在于运行的位置：

                Combiner是在每一个maptask所在的节点运行

                Reducer是接收全局所有Mapper的输出结果；

        （4）combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量

        （5）combiner能够应用的前提是不能影响最终的业务逻辑，而且，combiner的输出kv应该跟reducer的输入kv类型要对应起来

        （6）自定义Combiner实现步骤

                        （a）自定义一个Combiner继承Reducer，重写Reduce方法：

  

   

    

     

    
    

     

      public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritable>{
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
	@Override
     
    
   

    

     

    
    

     
	protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
        // 1 汇总操作
     
    
   

    

     

    
    

     

      		int count = 0;
     
    
   

    

     

    
    

     
		for(IntWritable v :values){
     
    
   

    

     

    
    

     

      			count += v.get();
     
    
   

    

     

    
    

     

      		}
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     
        // 2 写出
     
    
   

    

     

    
    

     

      		context.write(key, new IntWritable(count));
     
    
   

    

     

    
    

     

      	}
     
    
   

    

     

    
    

     

      }
     
    
  
 

                        （b）在job驱动类中设置：

job.setCombinerClass(WordcountCombiner.class);
 

文章来源: tuomasi.blog.csdn.net，作者：托马斯-酷涛，版权归原作者所有，如需转载，请联系作者。

原文链接：tuomasi.blog.csdn.net/article/details/121290276