Hive 内存溢出问题解决方案

l  Mapper/Reducer阶段JVM内存溢出

1.       Java.lang.OutOfMemoryError: GC overhead limit exceeded;

2.       Error: java heapspace

3.       running beyondphysical memory limits.Current usage: 4.3 GB of 4.3 GBphysical memory used; 7.4 GB of 13.2 GB virtual memory used. Killing container

修复方案：运行时

                                     set mapreduce.map.java.opts=-XmxXXXXm（数值调大）

set mapreduce.map.memory.mb = XXXX(数值调大) (Container内存)

set mapreduce.reduce.java.opts=-XmxXXXXm （数值调大）

                set mapreduce.reduce.memory.mb = XXXX(数值调大) （Container内存）

set 语句运行时报错： cannot modify XXXXXXXXX at runtime, it is not in list of params that are allowed to be modified at runtime

在此处填写需要加入白名单的参数，重启Hive

l  栈内存溢出

1.       Java.lang.StackOverflowError

修复方案：Sql过于复杂，优化sql

l  MRAppMaster内存不足

1.       Halting due to Out of Memory Error…

修复方案：

修改此二处配置，数值调大，然后重启yarn