从零开始实施推荐系统的落地部署——13.推荐系统案例（三）supervisor和kafka安装出现的问题和解决方法

1.       用户日志如何收集，配置flume，通过flume将业务数据服务器mas1的日志收集到hadoop服务器hdfs的hive中。通过向userClick.log数据进行测试

安装Supervisor，出现无法在线安装。使用离线。先下载下来，再安装。

启动脚本：

2.       配置kafka 参照https://www.cnblogs.com/Dev0ps/p/11259324.html

把{}中括号去掉：

之前少写了一句limits:

但是有出现问题pod/kafka-zookeeper-0，pod/kafka-zookeeper-1，pod/kafka-zookeeper-2能运行，但是pod/kafka-0显示pending状态。原因是storageclass的存储容量不够。之前是分配的是150G，gfs-heketi使用replicate:3，导致mysqlha设置3个节点，每个节点10G,共占用90G。kafka和zookeeper分别设置10G和5G。都是3个节点。在加上gfs-heketi使用replicate:3是（10+5）*3*3=135G。想重新构建一个gfs-kafka, replicate:1。但是无法启动kafka和zookeeper。

现在有三个解决方法：

1.       给kafka和zookeeper重新建立pv,pvc

2.       重新分配给gfs-heketi更大的存储空间。但是hive，mysqlha等要重新搭建。

3.       使用Kafka分布式集群部署