从零开始实施推荐系统的落地部署——11.推荐系统案例（一）环境的部署遇到的问题

昨天完成python依赖包的安装：（在hadoop各几点安装miniconda2），没注意到hadoop的环境情况，今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态，其他stan无显示，但是可以在hbase插入数据，而且通过hive和spark可以查询。

使用spark-sql --master yarn 查询数据正常，查看任务调用也正常

Hbase的监控任务也正常：

关闭hbase,stan节点提示：

关闭yarn和hdfs，提示：

重新启动hdfs,发现所有stan节点没有显示datanode进程，关闭hdfs后发现50010，50020，50075，8485端口被占用导致。（上一次是只有stan1和stan2出现这种情况，现在是所以的stan都出现）

再启动hbase,hive和spark，一切正常。

奇怪之处是之前stan的5个节点使用jps没有hadoop的所有进程，关闭时也提示没有相关进程，但是它在关闭前能正常写入数据和查询数据，而且数据不丢失。关闭系统上的一个python脚本，继续跟踪看一下是不是还出现着用情况。