HBase经典案例集锦八:Phoenix问题(8-2):Phoenix业务查询报错并发查询达到了上限
【问题描述】
Phoenix业务查询报错并发查询达到了上限。
org.apache.phoenix.exception.PhoenixIOException: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6c0f32a6 rejected from org.apache.phoenix.job.JobManager$1@5e9e266e[Running, pool size = 128, active threads = 127, queued tasks = 5000, completed tasks = 1]
at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:120)
at org.apache.phoenix.iterate.BaseResultIterators.getIterators(BaseResultIterators.java:1024)
at org.apache.phoenix.iterate.BaseResultIterators.getIterators(BaseResultIterators.java:916)
at org.apache.phoenix.iterate.RoundRobinResultIterator.getIterators(RoundRobinResultIterator.java:176)
at org.apache.phoenix.iterate.RoundRobinResultIterator.next(RoundRobinResultIterator.java:91)
at org.apache.phoenix.jdbc.PhoenixResultSet.next(PhoenixResultSet.java:779)
at com.main.opdata.OpDataQueryBytime2.queryLoad(OpDataQueryBytime2.java:81)
at com.main.opdata.OpDataQueryBytime2.query(OpDataQueryBytime2.java:66)
at com.main.opdata.OpDataTask.run(OpDataTask.java:29)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
【分析过程】
1. 打印查询sql执行计划,并发需要启动6236个task,默认配置一次查询最大启动5000个task。
【问题根因】
查询并发过大,默认配置task数无法满足配置要求。
【规避方法】
在业务侧使用的hbase-site.xml文件中添加以下两个配置,提高查询并发度:
phoenix.query.threadPoolSize =512
phoenix.query.queueSize=10000
根据执行计划中打印的chunk数,确认phoenix.query.queueSize参数需要调增的大小。
- 点赞
- 收藏
- 关注作者
评论(0)