从零开始实施推荐系统的落地部署——01. 方案的选择
【摘要】 我一直想搭建一个大数据平台的推荐系统，但是之前受到硬件资源的影响，有些想法一直都没有实现，现在有机会获得华为云10台ECS云服务器使用，我想把这些想法在华为云上实现。同时也想在华为云博客上给自己做总结。因为第一次写博客，有不通顺或错误之处，请大家多多指点。搭建平台根据资源的分配，可以设计2个方案（为了便于介绍，把服务器名改为mas1到mas10）：1. 使用mas1到mas5这5...
我一直想搭建一个大数据平台的推荐系统，但是之前受到硬件资源的影响，有些想法一直都没有实现，现在有机会获得华为云10台ECS云服务器使用，我想把这些想法在华为云上实现。同时也想在华为云博客上给自己做总结。因为第一次写博客，有不通顺或错误之处，请大家多多指点。
搭建平台根据资源的分配，可以设计2个方案（为了便于介绍，把服务器名改为mas1到mas10）：
1. 使用mas1到mas5这5台服务器搭建hadoop的HA。再使用mas2,mas6到mas10这6台服务器搭建k8s高可用集群。
1. 使用mas1到mas7这7台服务器搭建hadoop的HA，再使用mas1到mas3,mas8到mas10这6台服务器搭建k8s高可用集群。
按正常情况选择1，但是要搭建的是文章的推荐系统，后期可能要使用spark on yarn来统计文章画像和人物画像，需要很多yarn的资源，所以设置5个节点给yarn。mas1到mas3作为k8s的master节点，mas8到mas10作为k8s的3个工作节点是为了便于搭建docker企业级私有仓库harbor提供一定的空间，还可以搭建kafka的高可用集群。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）