Hive的调优一（Fetch抓取）

一、什么是Fetch抓取

    Fetch 抓取就是在Hive中对某一些情况的查询不用MapReduce去计算。不是说MapReduce不好，而是在有的情况下用不着，反正会更耗时。举个最简单的例子： select * from dept; 查询部门表的所有信息，在这样的查询条件下，Hive就可以直接读取dept表对应位置下的表，然后输出结果，而不用跑MapReduce去执行这条查询语句。

二、设置Fetch

    在hive-default.xml.template文件中 hive.fetch.task.conversion 这样一个属性，这个属性就是用来控制hive在某些情况下通不通MapReduce来执行。这个属性有三个值： none、minimal和more。区别如下：

    none:   设置为这个所有的查询都会走MapReduce。

    minimal: select * ，limit，filter在一个表所属的分区表上操作，都是运行数据的fetch，不跑MapReduce。

    more:  select，filter，limit，都是运行数据的fetch，不跑MapReduce。

    综上，通常来说，设置为more是比较好的，而且新版的Hive 已经默认使用more。