从ModelArts-Lab AI实战营第二期谈如何优雅的上传对象到OBS
到了晚上,在群友jimmy和Sun的热心提点下,说通过另外一种类似命令行操作窗口的小软件,可以获得很稳定的上传效果,而且速度还很快,是华为内部的一个工程师告诉的方法,于是,我就去尝试用obsutil这个工具去上传数据集,在他们两个提点下,我去仔细的看完官方提供的obsutil使用方法,终于搞定了怎么快速,稳定的把模型训练需要的“燃油”---数据集优雅的上传到华为云的 SBS桶里,而且经过实测,速度确实很快,五百多MB通过我100M的网速 5分钟就是上传到了 OBS桶里,为了方便后面训练模型,优雅的上传自己的数据集到华为云上,下面把详细的步骤告诉大家,以便大家后续开心的在华为云上训练自己的模型。
1、下载obsutil上传工具
先去下载地址根据自己的操作系统下载好对应的obsutil文件。下载完成后windows环境下在解压文件夹里记得先执行文件夹下的setup.bat。
2、使用obsutil上传文件
打开obsutil后,发现其类似于一个命令行窗口,如下所示,针对我等习惯windows下的小白,其实其操作基本和命令行操作类似
如果你要上传一个文件,就用如下命令,比如我这次要上传猫狗数据集 dog_and_cat_25000.tar.gz 到我在上一集创建的OBS桶
obsutil cp d:\dog_and_cat_25000.tar.gz obs://ai-course-teddybear/dog_and_cat_recognition/data
输入上述命令,当然,你也可以复制我的命令,在本地随便一个文档粘贴然后修改好你的命令,再粘贴到你命令窗口,回车,就开始稳定流畅的上传你的数据集了,就这么简单,上传过程如下。
3、如果你要你的一个文件夹及里面所有的文件,其命令如下:
obsutil cp d:\temp obs://bucket-test/temp -f -r
以我第四期上传 D盘下的VOC2007 为例,首先还是可以通过 OBSBrowser 在自己的桶里建立文件夹PracticeCamp-Phase-4,然后输入如下命令:
obsutil cp d:\VOC2007 obs://ai-course-teddybear/PracticeCamp-Phase-4 -f -r
看到进度条后,就表示正在把我本地 D盘下的VOC2007文件夹上传到我刚刚在我自己桶里的PracticeCamp-Phase-4文件夹
4、通过obsutil 创立文件夹
如果自己电脑上没有安装 OBSBrowser 或者不想那么麻烦,也可以通过如下命令在桶里建立文件夹,比如我新建一个Test文件夹
obsutil mkdir obs://ai-course-teddybear/PracticeCamp-Phase-4/Test
7/28 补充如下:
5、通过obsutil 删除你桶里的对象
如果你哪天觉得自己桶里很多无用的数据集占用了过多的空间的话,你可以通过如下命令删除一些内容。
obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data/dog_and_cat_25000.tar.gz -f
下面是删除里指定文件里的所有内容:
obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data -r -f
util rm obs://bucket-test/key -fDelete object [key] in the bucket [bucket-test] successfully!
好了,以上就是给各位分享 怎么优雅的上传数据集和在桶里创立文件夹,通过以上方法,可以快速,稳定的把自己的数据集上传到华为云的OBS服务器里,再结合Modelarts平台训练模型,以上,就是如何优雅的上传对象到OBS,完~
- 点赞
- 收藏
- 关注作者
评论(0)