HDFS DataNode的数据线程不足
【摘要】 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时,出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志:2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX...
适用版本
6.5.x。
问题背景与现象
当用户在HDFS上执行写操作时,出现“Failed to place enough replicas:expected…”信息。
原因分析
DataNode的数据接受器不可用。此时DataNode会有如下日志:
2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataXceiverServer@5386659f | hadoopc1h2:25009:DataXceiverServer: | DataXceiverServer.java:158
java.io.IOException: Xceiver count 4097 exceeds the limit of concurrent xcievers: 4096
at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:140)
at java.lang.Thread.run(Thread.java:745)
解决办法
如果DataNode的数据接收器不可用,通过在页面,增加HDFS参数“dfs.datanode.max.transfer.threads”的值。
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)