建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块

云上AI

发帖: 10粉丝: 3

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-1-31 11:29:25 3377 2 楼主 显示全部楼层
[教程] ModelArts运行TensorFlow开源代码mnist

本文以手写体数字识别为例,介绍如何在ModelArts平台训练原生的TensorFlow的代码。TensorFlow官方提供的训练手写体数字识别模型的代码,源码位置:

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_with_summaries.py

基本流程包含以下步骤:

1.    准备数据:通过ModelArts市场预置数据集创建自动学习所需数据集版本。

2.    代码调试:通过ModelArts开发环境调试代码,成功后创建训练作业。

3.    训练模型:创建训练作业进行模型训练。

准备数据

通过ModelArts市场预置数据集创建自动学习所需数据集版本,具体操作如下:

步骤 1     登录“ModelArts管理控制台,在全局配置界面添加访问秘钥。


image.png


步骤 2     返回“ModelArts”管理控制台,单击左侧导航栏的“市场”。 切换到ModelArts市场的“数据集”页面,找到数据集“Mnist-Data-Set”。

步骤 3     进入到该预置数据集“Mnist-Data-Set”的详情页面,执行“导入到我的数据集”操作,输入“桶名”,本例中为“mnist-example”,点击确定,完成创建,页面会跳转到“数据管理>数据集”页面进行创建。

步骤 4     在“ModelArts”管理控制台的“数据管理>数据集”页面查看直到mnist数据集(Mnist-Data-Set)创建完成,数据详细信息完全加载。

步骤 5     在数据集目录页面获取创建的mnist数据集的桶信息mnist-example/mnist/。请参考下图。


image.png

代码调试

在Modelarts开发环境界面对代码进行调试,以防代码无法直接运行需要多次创建训练作业。

操作步骤如下:

步骤 1     下载模型训练脚本文件mnist_with_summaries.py。将脚本文件上传至华为云OBS桶 (假设OBS桶路径为:/mnist-example/codes/)。

步骤 2    在“开发环境”界面,单击左上角的“创建”, “名称”和“描述”可以随意填写,本例中名称为“mnist”;“镜像类型”选择TF-1.8.0-python27或TF-1.8.0-python36,“存储位置”选择/mnist-example/codes/,任务提交成功后返回Notebook列表。


image.png


步骤 3    状态显示为“运行中”时表示创建成功,点击名称“mnist”进入Notebook界面,点击右上角的“new”->“Python2”, 并打开mnist_with_summaries.py文件将代码复制到cell框中。


image.png

image.png


步骤 4    数据存储在obs中,需要在原生tensorflow代码中配置ak,sk,才可以访问。在代码中添加


image.png


步骤 5   创建训练作业时,训练作业界面的训练数据集路径是以train_url参数传入,训练输出路径以train_url传入,脚本的参数改动部分如下 : 


image.png 


代码修改完成后点击上方的“run”按钮,程序即可运行。

SimpleClient.rar


训练模型

操作步骤如下:

训练作业中,原生tensorflow代码中无需配置ak,sk,可去除配置ak,sk代码(保留亦无影响)。

步骤 1    在“训练作业”界面,单击左上角的“创建”, “名称”和“描述”可以随意填写;“数据来源”请选择“数据集”Mnist-Data-Set{或者“数据的存储位置”(本例中为mnist-example/mnist)};“算法来源”请选择“常用框架”,“AI引擎”选择“TensorFlow";“代码目录”请选择型训练脚本文件mnist_with_summaries.py所在的OBS父目录(/mnist-example/codes/);“启动文件”请选择“train_mnist.py”;“训练输出位置”请选择一个路径(例如/mnist-example/log/)用于保存输出模型和预测文件,参考下图填写训练作业参数。


image.png


步骤 2    参数确认无误后,单击“立即创建”,完成训练作业创建。

步骤 3    在模型训练的过程中或者完成后,通过创建TensorBoard作业查看一些参数的统计信息,如loss, accuracy等。在“训练作业”界面,点击TensorBoard,再点击“创建”按钮,参数“名称”可随意填写,“日志路径”请选择步骤3中“训练输出位置”参数中的路径(/mnist-example/log/),或者直接进入训练作业界面点击作业名称,点击右上角的“创建TensorBoard”。


image.png

image.png


训练作业完成后,即完成了模型训练过程。如有问题,可点击作业名称,进入作业详情界面查看训练作业日志信息。




SimpleClient.rar 2.39 KB,下载次数:23

回复 举报
分享

分享文章到朋友圈

分享文章到微博

建赟

发帖: 184粉丝: 12

级别 : 版主

Rank: 7Rank: 7Rank: 7

发消息 + 关注

发表于2019-3-6 18:45:35 沙发 显示全部楼层

学习下

点赞 回复 举报

kinlance

发帖: 0粉丝: 0

级别 : 新手上路

Rank: 1

发消息 + 关注

发表于2019-3-29 23:15:11 板凳 显示全部楼层

有个疑问,输出的测试结果怎么查看

点赞 回复 举报

游客

您需要登录后才可以回帖 登录 | 立即注册