【TPCDS】记一个Hive testbench运行报错statu 139的问题
【摘要】 hive testbench 运行时遇到failed with status code 139.
最近需要对Hive进行性能测试，发现Hive testbench是一个方便的测试工具，于是打算用它来进行测试。
然而问题并没有那么简单，虽然成功编译了tpcds-gen，但是在运行./tpcds-setup.sh 10 /tpcds的时候意外出现报错：
通过查看hadoop的log，发现报错的内容与这个一致，并没有更详细的地方。
起初以为是文件权限有关的问题，于是尝试使用root进行测试，发现无论如何设置，都报同样的错误；而后又以为是版本的问题，然后就切换了hive-testbench的版本，然后错误仍然一样，让人很恼火。
直到查看源码，问题才出现了转机。
首先，我找到报错的第194行，发现是Java Process的waitFor函数报了这个错误，因为hive-testbench生成数据都是依靠tpcds官方工具dsdgen的，因此开始怀疑是dsdgen的调用方式不对或者调用参数由于，但经过打LOG，发现调用命令并没有错误，问题一度陷入了死胡同。
终于，我开始注意那个一直被我忽视的状态码。
本来我不是特别在意状态码的，因为现在很多程序的状态码都是乱写的，很多时候都不能通过状态码定位问题。但本着死马当活马医的心态，对p.waitFor() 139进行搜索，终于发现了问题。
博客指出139表示Too big row，按照理解应该是命令行太长了。于是我重新查看了之前为诊断问题添加的日志，注意到程序中使用的目录用的是相对路径"."，对于一个MapReduce程序来说，这个路径就是Container的路径，长度很长！
最终的解决方法也很简单，更改源码相关路径设置，重新编译，问题解决！
解决BUG，应该先定位到具体报错的行，不要无端猜测！
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
玲珑叮铛2021/07/08 12:22:551楼编辑删除举报
应皓宇2023/05/13 02:23:102楼编辑删除举报
应皓宇2023/05/13 02:24:28编辑删除举报