ModelArts中使用开发环境的notebook上传数据集至OBS
【摘要】 使用ModelArts通常需要上传较大的数据集到OBS，我们可以选择OBS客户端上传，在没有OBS客户端的情况下，则可以选择使用NoteBook上传数据，来提高数据上传的效率。下面介绍一下如何借助NoteBook上传数据集到OBS。1、创建一个notebook，此处建议选择挂载在EVS硬盘下，方便NoteBook多次启动数据不会丢失。2、打开notebook，点击右上角new按钮，点击Ter...
使用ModelArts通常需要上传较大的数据集到OBS，我们可以选择OBS客户端上传，在没有OBS客户端的情况下，则可以选择使用NoteBook上传数据，来提高数据上传的效率。下面介绍一下如何借助NoteBook上传数据集到OBS。
1、创建一个notebook，此处建议选择挂载在EVS硬盘下，方便NoteBook多次启动数据不会丢失。
2、打开notebook，点击右上角new按钮，点击Terminal打开一个Terminal
3、使用wget命令（wget https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Flowers-Data-Set/archiver/Flowers-Data-Set.zip）， 下载数据集至默认目录,可以使用pwd查看当前目录，ls查看该目录下是否包含下载的数据集。
4、解压下载的数据集到指定文件夹,解压命令：unzip Flowers-Data-Set.zip -d /home/ma-user/Flowers-Data-Set
5、cat README,使用其中的for Conda-python3命令激活一个Conda环境
6、python,打开python环境，import moxing as mox，引用moxing
7、使用moxing接口上传数据集至OBS指定目录（moxing接口指导文档：https://github.com/huaweicloud/ModelArts-Lab/blob/master/docs/moxing_api_doc/MoXing_API_File.md）
上传命令：mox.file.copy_parallel('/home/ma-user/Flowers-Data-Set', 's3://modelarts-cn-north-4-08aae033/mnist_pycharm/dataset')
8、查看OBS路径，数据集上传成功
备注：下载数据集同理，使用moxing接口，路径反向即可。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）