Hive的调优一（Fetch抓取）
【摘要】 一、什么是Fetch抓取 Fetch 抓取就是在Hive中对某一些情况的查询不用MapReduce去计算。不是说MapReduce不好，而是在有的情况下用不着，反正会更耗时。举个最简单的例子： select * from dept; 查询部门表的所有信息，在这样的查询条件下，Hive就可以直接读取dept表对应位置下的表，然后输出结果，而不用跑MapReduce去执行这条查询语句。二、...
一、什么是Fetch抓取
Fetch 抓取就是在Hive中对某一些情况的查询不用MapReduce去计算。不是说MapReduce不好，而是在有的情况下用不着，反正会更耗时。举个最简单的例子： select * from dept; 查询部门表的所有信息，在这样的查询条件下，Hive就可以直接读取dept表对应位置下的表，然后输出结果，而不用跑MapReduce去执行这条查询语句。
二、设置Fetch
在hive-default.xml.template文件中 hive.fetch.task.conversion 这样一个属性，这个属性就是用来控制hive在某些情况下通不通MapReduce来执行。这个属性有三个值： none、minimal和more。区别如下：
none: 设置为这个所有的查询都会走MapReduce。
minimal: select * ，limit，filter在一个表所属的分区表上操作，都是运行数据的fetch，不跑MapReduce。
more: select，filter，limit，都是运行数据的fetch，不跑MapReduce。
综上，通常来说，设置为more是比较好的，而且新版的Hive 已经默认使用more。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）