ModelArts可视化工具使用指导

举报
小聪不是小葱~ 发表于 2021/08/20 16:26:22 2021/08/20
【摘要】 可视化工具使用户能够跟踪实验指标,例如损失和准确性,可视化模型图等。可视化训练过程对于问题的发现和模型收敛效果的确定非常重要,从而优化得到较好的模型设计。

可视化工具总览

可视化工具的目的和用户用途是什么?

可视化工具使用户能够跟踪实验指标,例如损失和准确性,可视化模型图等。可视化训练过程对于问题的发现和模型收敛效果的确定非常重要,从而优化得到较好的模型设计。

插件是做什么用的?

  • TensorBoard
    TensorBoard 用于提供机器学习工作流程期间所需的测量和可视化的工具。目前云道和华为云环境的训练模块已集成,请参考Tensorboard in ModelArts 、TensorBoard in ModelArts FAQ 和 TensorBoard官网指导。
    注:ModelArts TensorBoard目前只支持TensorFlow和MXNet引擎,只有使用TensorFlow或MXNet引擎的训练作业才可以创建TensorBoard作业。

  • MindInsight
    MindInsight用于MindSpore模型的精度和性能调优,主要收集Summary和profiling数据,目前云道环境的训练模块已集成,请参考 MindInsight in ModelArts 和 MindInsightFAQ 。

  • Obsfs
    对象存储服务(Object Storage Service,OBS)提供的一款基于FUSE的文件系统工具,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,推荐使用obsfs。
    Obsfs详情链接:https://support.huaweicloud.com/fstg-obs/obs_12_0001.html

插件展示

1.TensorBoard和MindInsight在线使用有四种入口形式,本次只展示有界面化的三种方式

Tensorboard

image.png

Mindinsight

image.png

2.支持TensorBoard的 obsfs和MindInsight的 obsfs(在入口1中)

三种入口具体操作

1.点击入口1,进入Jupyter Notebook自动创建.ipynb文件
在对话框中输入tensorboard相应命令,即可展示界面。
例如:

  • Tensorboard
%reload_ext tensorboard
%tensorboard --logdir /home/ma-user/work/log

备注:支持输入obs地址,例如
%tensorboard --logdir obs://dongcongvisual/tf_log/
image.png

  • Mindinsight
%reload_ext mindinsight
%mindinsight --summary-base-dir /home/ma-user/work/log

备注:支持输入obs地址,例如
%mindinsight --summary-base-dir obs:/dongcong/ms_log/
image.png

2.点击入口2,直接进入Tensorboard展示界面。
默认读取路径/home/ma-user/work/

  • Tensorboard

image.png

备注:当存在两个以及以上工程的log时,界面如下。通过Runs下选择查看相对应的log。
image.png

  • Mindinsight

image.png

3.点击入口3

  • Tensorboard

1)在搜索框中输入tensorboard,点击Create a new tensorboard。

image.png

2)填写需要查看的本地log路径,例如/home/ma-user/work/log2
备注:支持相对路径同时也支持绝对路径,填写/home/ma-user/work/下的log地址或者./log。

3)点击CREATE进入展示界面
image.png

  • Mindinsight

1)在搜索框中输入mindinsight,点击Create a new mindinsight。

image.png
2)填写需要查看的本地log路径
image.png
3)点击CREATE进入展示界面
image.png

三种关闭方式

1.直接从界面关闭。备注:后台未关闭

2.在.ipynb中输入命令,关闭
例如:

  • Tensorboard
!kill -9 PID
  • Mindinsight
!mindinsight stop --port 端口号

3.点击image.png
,选择要关闭的SHUT DOWN。
image.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。