客快物流大数据项目(三十五):CDH使用注意

举报
Lansonli 发表于 2022/02/12 23:36:24 2022/02/12
【摘要】 目录 CDH使用注意 一、HDFS使用前配置 二、​​​​​​​Kafka使用前配置 CDH使用注意 一、​​​​​​​HDFS使用前配置 默认情况下,CDH的HDFS服务是开启权限检查的,为方便使用HDFS,需先将HDFS的dfs.permissions选项取消选中,保存后重启HDFS服务。最终的配置如下: 二...

目录

CDH使用注意

一、HDFS使用前配置

二、​​​​​​​Kafka使用前配置


CDH使用注意

一、​​​​​​​HDFS使用前配置

默认情况下,CDH的HDFS服务是开启权限检查的,为方便使用HDFS,需先将HDFS的dfs.permissions选项取消选中,保存后重启HDFS服务。最终的配置如下:

二、​​​​​​​Kafka使用前配置

CDH-6.2.1中的Kafka默认offsets.topic.replication.factor为3,但实际上Kafka的Broker数量为1,会导致创建主题时虽然指定了--replication-factor=1和--partitions=1会导致生产消息成功,但无法接收消息的情况,在CM的管理界面中,如果直接修改offsets.topic.replication.factor=1是无法保存的,需要我们手动在Kafka服务的配置文件中修改才能生效,修改方式如下:

操作步骤

说明

1

vi /var/run/cloudera-scm-agent/process/115-KAFKA-kafka-KAFKA_BROKER-8daa17cc7adbeef4134b312fdd60b3d1-RoleDiagnostics/kafka.properties

2

找到offsets.topic.replication.factor配置,设置为1

3

保存配置,退出vi编辑器

4

在CM管理页面中,重启Kafka实例,即可正常使用

修改前的设置:

 

 

修改后的设置:

 

 


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

 

 

文章来源: lansonli.blog.csdn.net,作者:Lansonli,版权归原作者所有,如需转载,请联系作者。

原文链接:lansonli.blog.csdn.net/article/details/122803504

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。