客快物流大数据项目(三十五):CDH使用注意
目录
CDH使用注意
一、HDFS使用前配置
默认情况下,CDH的HDFS服务是开启权限检查的,为方便使用HDFS,需先将HDFS的dfs.permissions选项取消选中,保存后重启HDFS服务。最终的配置如下:
二、Kafka使用前配置
CDH-6.2.1中的Kafka默认offsets.topic.replication.factor为3,但实际上Kafka的Broker数量为1,会导致创建主题时虽然指定了--replication-factor=1和--partitions=1会导致生产消息成功,但无法接收消息的情况,在CM的管理界面中,如果直接修改offsets.topic.replication.factor=1是无法保存的,需要我们手动在Kafka服务的配置文件中修改才能生效,修改方式如下:
操作步骤 |
说明 |
1 |
vi /var/run/cloudera-scm-agent/process/115-KAFKA-kafka-KAFKA_BROKER-8daa17cc7adbeef4134b312fdd60b3d1-RoleDiagnostics/kafka.properties |
2 |
找到offsets.topic.replication.factor配置,设置为1 |
3 |
保存配置,退出vi编辑器 |
4 |
在CM管理页面中,重启Kafka实例,即可正常使用 |
修改前的设置: |
|
|
|
修改后的设置: |
|
|
- 📢博客主页:https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
- 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
- 📢大数据系列文章会每天更新,停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
文章来源: lansonli.blog.csdn.net,作者:Lansonli,版权归原作者所有,如需转载,请联系作者。
原文链接:lansonli.blog.csdn.net/article/details/122803504
- 点赞
- 收藏
- 关注作者
评论(0)