HBase经典案例集锦八:Phoenix问题(8-2):Phoenix业务查询报错并发查询达到了上限
【摘要】 【问题描述】Phoenix业务查询报错并发查询达到了上限。org.apache.phoenix.exception.PhoenixIOException: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6c0f32a6 rejected from org.apache.phoenix.job.JobManag...
【问题描述】
Phoenix业务查询报错并发查询达到了上限。
org.apache.phoenix.exception.PhoenixIOException: Task org.apache.phoenix.job.JobManager$InstrumentedJobFutureTask@6c0f32a6 rejected from org.apache.phoenix.job.JobManager$1@5e9e266e[Running, pool size = 128, active threads = 127, queued tasks = 5000, completed tasks = 1]
at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:120)
at org.apache.phoenix.iterate.BaseResultIterators.getIterators(BaseResultIterators.java:1024)
at org.apache.phoenix.iterate.BaseResultIterators.getIterators(BaseResultIterators.java:916)
at org.apache.phoenix.iterate.RoundRobinResultIterator.getIterators(RoundRobinResultIterator.java:176)
at org.apache.phoenix.iterate.RoundRobinResultIterator.next(RoundRobinResultIterator.java:91)
at org.apache.phoenix.jdbc.PhoenixResultSet.next(PhoenixResultSet.java:779)
at com.main.opdata.OpDataQueryBytime2.queryLoad(OpDataQueryBytime2.java:81)
at com.main.opdata.OpDataQueryBytime2.query(OpDataQueryBytime2.java:66)
at com.main.opdata.OpDataTask.run(OpDataTask.java:29)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
【分析过程】
1. 打印查询sql执行计划,并发需要启动6236个task,默认配置一次查询最大启动5000个task。
【问题根因】
查询并发过大,默认配置task数无法满足配置要求。
【规避方法】
在业务侧使用的hbase-site.xml文件中添加以下两个配置,提高查询并发度:
phoenix.query.threadPoolSize =512
phoenix.query.queueSize=10000
根据执行计划中打印的chunk数,确认phoenix.query.queueSize参数需要调增的大小。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论(0)