从零开始实施推荐系统的落地部署——01. 方案的选择

我一直想搭建一个大数据平台的推荐系统，但是之前受到硬件资源的影响，有些想法一直都没有实现，现在有机会获得华为云10台ECS云服务器使用，我想把这些想法在华为云上实现。同时也想在华为云博客上给自己做总结。因为第一次写博客，有不通顺或错误之处，请大家多多指点。

搭建平台根据资源的分配，可以设计2个方案（为了便于介绍，把服务器名改为mas1到mas10）：

1.       使用mas1到mas5这5台服务器搭建hadoop的HA。再使用mas2,mas6到mas10这6台服务器搭建k8s高可用集群。

1.       使用mas1到mas7这7台服务器搭建hadoop的HA，再使用mas1到mas3,mas8到mas10这6台服务器搭建k8s高可用集群。

按正常情况选择1，但是要搭建的是文章的推荐系统，后期可能要使用spark on yarn来统计文章画像和人物画像，需要很多yarn的资源，所以设置5个节点给yarn。mas1到mas3作为k8s的master节点，mas8到mas10作为k8s的3个工作节点是为了便于搭建docker企业级私有仓库harbor提供一定的空间，还可以搭建kafka的高可用集群。