使用云容器引擎服务构建深度学习环境
使用CCE服务构建深度学习环境
深度学习环境的搭建一直以来都比较繁琐,本地开发不仅需要安装大量驱动,各类深度学习框架所需的Python版本往往不统一,使用前必须反复切换,从算法编写,到IDE进行调试,使用起来极不方便。本文将介绍使用CCE服务搭建深度学习环境、搭建后不同深度环境可以各自隔离和组合,并可以使用jupyter notebook实现远程调试。用户A和用户B使用容器服务跑在同一台云服务器中,但各自可以jupyter notebook独立调试自己的程序。
搭建过程
- 需要购买的服务
弹性云服务器(ECS)一台
弹性公网IP(EIP)一个
云容器引擎服务(CCE),注:目前仅高可用集群收费
容器镜像服务(SWR),注:目前免费,可以上传保存镜像
步骤1、 到云容器引擎界面上创建集群,并创建节点。如果没有创建虚拟私有云(VPC)和子网(subnet)的话需要先创建一个,购买的节点注意设置密码或keypair,方便ssh远程登录。
步骤2、 弹性公网IP页面,对购买的节点进行绑定。
步骤3、 纳管成功后去SWR服务中注册自己的组织。上传镜像那边选择客户端上传,复制docker login命令,先粘贴到到自己的节点中。
步骤4、 例如要搭建keras环境,则在节点机上docker pull gaarv/jupyter-keras,或者可以使用docker search 命令查找您想要的深度学习框架。可以直接找个已经集成jupyter notebook的镜像。
步骤5、根据SWR的提示,给pull下来的镜像,上传自己的镜像。
步骤6、到CCE服务中,在工作负载中创建无状态工作负载,因为不需要主备实例修改为1,如图选择刚刚我们上传的镜像。在容器规格中写明对资源的控制。启动后命令设置为jupyter notebook list。使用HostPath挂在本地路径到容器中,作为代码调试路径(这样容器重启,镜像刷新了,本地的代码依旧可以保留)
如上图选择添加服务,选择VPC服务,将容器端口设为8888(jupyter notebook默认端口就是这个)。连续点击确定完成设置。
查看工作负载详情,到工作负载运维中查看token,并复制字段,这里是3d067d0a0570e5cb76ba0c45469fcfbb4fb960e41ee9c267
返回工作负载列表,查看工作负载的访问地址,这边我搭建了3个不同的环境。
在浏览器中输入访问地址,并贴入刚才复制的token登录。
登录后,进入挂载的HostPath目录,编写自己的代码。
使用Keras框架跑个Mnist手写数字集吧
切换使用tensorflow工作负载地址跑个Mnist手写数字集
可以看到,不同的对外访问的地址就对应不同的环境,本地也不需要安装IDE,可以使用网页页面直接调试代码。
- 点赞
- 收藏
- 关注作者
评论(0)