从ModelArts-Lab AI实战营第二期谈如何优雅的上传对象到OBS

举报
云的记忆 发表于 2019/07/26 23:39:54 2019/07/26
【摘要】 本人本身是从事工业领域的机器视觉行业的,做过不少的机器视觉方案,记得14,15年以前,都是用得比如halcon,MIL,OPENCV,对于图像的分类,分割,定位等等,传统方法已经到了算法的瓶颈,尤其是图像缺陷检测这一块,传统的机器视觉,很难适应复杂的场景,这就导致,比如在手机玻璃盖板检测领域,即使是不差钱的iPhone手机,在富士康等厂家依然用的是人海战术在做玻璃盖板的检测;20...

到了晚上,在群友jimmySun的热心提点下,说通过另外一种类似命令行操作窗口的小软件,可以获得很稳定的上传效果,而且速度还很快,是华为内部的一个工程师告诉的方法,于是,我就去尝试用obsutil这个工具去上传数据集,在他们两个提点下,我去仔细的看完官方提供的obsutil使用方法,终于搞定了怎么快速,稳定的把模型训练需要的“燃油”---数据集优雅的上传到华为云的 SBS桶里,而且经过实测,速度确实很快,五百多MB通过我100M的网速 5分钟就是上传到了 OBS桶里,为了方便后面训练模型,优雅的上传自己的数据集到华为云上,下面把详细的步骤告诉大家,以便大家后续开心的在华为云上训练自己的模型。

  • 1、下载obsutil上传工具

  先去下载地址根据自己的操作系统下载好对应的obsutil文件。下载完成后windows环境下在解压文件夹里记得先执行文件夹下的setup.bat

  • 2、使用obsutil上传文件

打开obsutil后,发现其类似于一个命令行窗口,如下所示,针对我等习惯windows下的小白,其实其操作基本和命令行操作类似

未命名图片.png


如果你要上传一个文件,就用如下命令,比如我这次要上传猫狗数据集  dog_and_cat_25000.tar.gz 到我在上一集创建的OBS桶

obsutil cp d:\dog_and_cat_25000.tar.gz obs://ai-course-teddybear/dog_and_cat_recognition/data

输入上述命令,当然,你也可以复制我的命令,在本地随便一个文档粘贴然后修改好你的命令,再粘贴到你命令窗口,回车,就开始稳定流畅的上传你的数据集了,就这么简单,上传过程如下。

未命名图片2.png

3、如果你要你的一个文件夹及里面所有的文件,其命令如下:

obsutil      cp d:\temp obs://bucket-test/temp -f -r

以我第四期上传 D盘下的VOC2007 为例,首先还是可以通过 OBSBrowser 在自己的桶里建立文件夹PracticeCamp-Phase-4,然后输入如下命令:

obsutil cp d:\VOC2007 obs://ai-course-teddybear/PracticeCamp-Phase-4 -f -r

看到进度条后,就表示正在把我本地 D盘下的VOC2007文件夹上传到我刚刚在我自己桶里的PracticeCamp-Phase-4文件夹

4、通过obsutil 创立文件夹      

如果自己电脑上没有安装 OBSBrowser 或者不想那么麻烦,也可以通过如下命令在桶里建立文件夹,比如我新建一个Test文件夹

obsutil mkdir obs://ai-course-teddybear/PracticeCamp-Phase-4/Test

7/28 补充如下:

5、通过obsutil 删除你桶里的对象      

如果你哪天觉得自己桶里很多无用的数据集占用了过多的空间的话,你可以通过如下命令删除一些内容。


obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data/dog_and_cat_25000.tar.gz -f

下面是删除里指定文件里的所有内容:

obsutil rm obs://ai-course-teddybear/dog_and_cat_recognition/data -r -f

util rm obs://bucket-test/key -fDelete object [key] in the bucket [bucket-test] successfully!

好了,以上就是给各位分享 怎么优雅的上传数据集和在桶里创立文件夹,通过以上方法,可以快速,稳定的把自己的数据集上传到华为云的OBS服务器里,再结合Modelarts平台训练模型,以上,就是如何优雅的上传对象到OBS,完~



【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。