云社区 博客 博客详情
云社区 博客 博客详情

从零开始实施推荐系统的落地部署——11.推荐系统案例(一)环境的部署遇到的问题

wuyicom 发表于 2020-09-03 02:01:29 09-03 02:01
wuyicom 发表于 2020-09-03 02:01:29 2020/09/03
0
0

【摘要】 昨天完成python依赖包的安装:(在hadoop各几点安装miniconda2),没注意到hadoop的环境情况,今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态,其他stan无显示,但是可以在hbase插入数据,而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常,查看任务调用也正常Hbase的监控任务也正常:关闭hb...

昨天完成python依赖包的安装:(在hadoop各几点安装miniconda2),没注意到hadoop的环境情况,今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态,其他stan无显示,但是可以在hbase插入数据,而且通过hivespark可以查询。

使用spark-sql --master yarn 查询数据正常,查看任务调用也正常

Hbase的监控任务也正常:

关闭hbase,stan节点提示:

关闭yarnhdfs,提示:

重新启动hdfs,发现所有stan节点没有显示datanode进程,关闭hdfs后发现5001050020500758485端口被占用导致。(上一次是只有stan1stan2出现这种情况,现在是所以的stan都出现)

再启动hbase,hivespark,一切正常。

奇怪之处是之前stan5个节点使用jps没有hadoop的所有进程,关闭时也提示没有相关进程,但是它在关闭前能正常写入数据和查询数据,而且数据不丢失。关闭系统上的一个python脚本,继续跟踪看一下是不是还出现着用情况。


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消