使用云容器引擎服务构建深度学习环境

举报
发表于 2018/09/08 21:37:57 2018/09/08
【摘要】 深度学习环境的搭建一直以来都比较繁琐,本地开发不仅需要安装大量驱动,各类深度学习框架所需的Python版本往往不统一,使用前必须反复切换,从算法编写,到IDE进行调试,使用起来极不方便。本文将介绍使用CCE服务搭建深度学习环境、搭建后不同深度环境可以各自隔离和组合,并可以使用jupyter notebook实现远程调试。

使用CCE服务构建深度学习环境

        深度学习环境的搭建一直以来都比较繁琐,本地开发不仅需要安装大量驱动,各类深度学习框架所需的Python版本往往不统一,使用前必须反复切换,从算法编写,到IDE进行调试,使用起来极不方便。本文将介绍使用CCE服务搭建深度学习环境、搭建后不同深度环境可以各自隔离和组合,并可以使用jupyter notebook实现远程调试。用户A和用户B使用容器服务跑在同一台云服务器中,但各自可以jupyter notebook独立调试自己的程序。

        搭建过程

         - 需要购买的服务

           弹性云服务器(ECS)一台

           弹性公网IP(EIP)一个

           云容器引擎服务(CCE),注:目前仅高可用集群收费

           容器镜像服务(SWR),注:目前免费,可以上传保存镜像

        

        步骤1、 到云容器引擎界面上创建集群,并创建节点。如果没有创建虚拟私有云(VPC)和子网(subnet)的话需要先创建一个,购买的节点注意设置密码或keypair,方便ssh远程登录。

        步骤2、 弹性公网IP页面,对购买的节点进行绑定。

        步骤3、 纳管成功后去SWR服务中注册自己的组织。上传镜像那边选择客户端上传,复制docker login命令,先粘贴到到自己的节点中。

        步骤4、 例如要搭建keras环境,则在节点机上docker pull gaarv/jupyter-keras,或者可以使用docker search 命令查找您想要的深度学习框架。可以直接找个已经集成jupyter notebook的镜像。

        步骤5、根据SWR的提示,给pull下来的镜像,上传自己的镜像。

        步骤6、到CCE服务中,在工作负载中创建无状态工作负载,因为不需要主备实例修改为1,如图选择刚刚我们上传的镜像。在容器规格中写明对资源的控制。启动后命令设置为jupyter notebook list。使用HostPath挂在本地路径到容器中,作为代码调试路径(这样容器重启,镜像刷新了,本地的代码依旧可以保留)

image.png

image.png

image.png

                           



          image.png

                              如上图选择添加服务,选择VPC服务,将容器端口设为8888(jupyter notebook默认端口就是这个)。连续点击确定完成设置。

image.png

                            查看工作负载详情,到工作负载运维中查看token,并复制字段,这里是3d067d0a0570e5cb76ba0c45469fcfbb4fb960e41ee9c267

image.png

                              返回工作负载列表,查看工作负载的访问地址,这边我搭建了3个不同的环境。

                            image.png

                           在浏览器中输入访问地址,并贴入刚才复制的token登录。

     image.png

 登录后,进入挂载的HostPath目录,编写自己的代码。image.png

                             使用Keras框架跑个Mnist手写数字集吧

image.png

            切换使用tensorflow工作负载地址跑个Mnist手写数字集

                                      image.png


      可以看到,不同的对外访问的地址就对应不同的环境,本地也不需要安装IDE,可以使用网页页面直接调试代码。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。