FusionInsight Kafka创建Topic失败原因及解决方案

举报
Summer_ 发表于 2022/04/28 11:19:49 2022/04/28
【摘要】 一、 无权限创建Topic会报错“ERROR org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /config/topics/topicName。解决办法是使用具体kafkaadmin权限的用户。二、 Quota限制创建Topic会报错“Nodes number exceed ...

一、 无权限

创建Topic会报错“ERROR org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /config/topics/topicName。

001.png

解决办法是使用具体kafkaadmin权限的用户。

二、 Quota限制

创建Topic会报错“Nodes number exceed quota limit for /config/topics/topicName”。

解决办法是:

  1. 检查Kafka全部配置中Quota配置quota.number是否是250000,如果不是改为此值。
  2. 同步zk配置。

FusionInsight Manager页面“集群->Zookeeper->更多->同步配置”,同步配置操作每5分钟执行一次,最多等5分钟,zk客户端执行listquota /kafka查看quota的count值是否为250000。

002.png

zk客户端查看quota值方法如下:

  1. 进入FI客户端(例如/opt/hadoopclient)
  2. 执行命令source bigdata_env
  3. 执行命令kinit 用户名(普通模式跳过)
  4. 执行sh -server zk业务IP:24002

    003.png


三、 副本个数大于正常节点数

创建Topic会报错“ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: X larger than available brokers: X”004.png

解决办法是:解决异常节点问题或减少副本数。

四、 客户端版本低

客户端是低版本而服务端是高版本时,创建Topic可能不会报错但是查看topic的describe信息时leader为none。原因是zk上报没有权限访问“/brokers/topics/topicName”目录,此目录下无法创建partitions目录。

解决办法是:使用与服务端对应的客户端版本。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200