从零开始实施推荐系统的落地部署——13.推荐系统案例(三)supervisor和kafka安装出现的问题和解决方法
【摘要】 1. 用户日志如何收集,配置flume,通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试安装Supervisor,出现无法在线安装。使用离线。先下载下来,再安装。启动脚本:2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.h...
1. 用户日志如何收集,配置flume,通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试
安装Supervisor,出现无法在线安装。使用离线。先下载下来,再安装。
启动脚本:
2. 配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.html
把{}中括号去掉:
之前少写了一句limits:
但是有出现问题pod/kafka-zookeeper-0,pod/kafka-zookeeper-1,pod/kafka-zookeeper-2能运行,但是pod/kafka-0显示pending状态。原因是storageclass的存储容量不够。之前是分配的是150G,gfs-heketi使用replicate:3,导致mysqlha设置3个节点,每个节点10G,共占用90G。kafka和zookeeper分别设置10G和5G。都是3个节点。在加上gfs-heketi使用replicate:3是(10+5)*3*3=135G。想重新构建一个gfs-kafka, replicate:1。但是无法启动kafka和zookeeper。
现在有三个解决方法:
1. 给kafka和zookeeper重新建立pv,pvc
2. 重新分配给gfs-heketi更大的存储空间。但是hive,mysqlha等要重新搭建。
3. 使用Kafka分布式集群部署
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论(0)