建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

hhhhhh123

发帖: 8粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年11月10日 17:04:05 293 15
直达本楼层的链接
楼主
显示全部楼层
[部署上线] 关于模型转换的问题

我在自己电脑上用tf2.x训练了一个模型,然后保存为pb格式(使用netron打开看网络结构一切正常)。

但是当我想把这个pb模型转换成为.om模型的时候,转换任务的日志输出为”Internal service error“。


我也看了论坛的另一个帖子,当时版主回复的原因是因为他使用的onnx是torch的,而modelarts必须使用tf的onnx。

那我这里用的框架也是tf,并且2.x也是modelarts中支持的(比如在预置框架中,就有2.x可选),那为什么我还会得到”Internal service error“?


举报
分享

分享文章到朋友圈

分享文章到微博

HWCloudAI

发帖: 185粉丝: 213

级别 : 管理员

发消息 + 关注

发表于2020年11月10日 17:05:36
直达本楼层的链接
沙发
显示全部楼层

请稍等,专家在路上

点赞 评论 引用 举报

Tianyi_Li

发帖: 289粉丝: 88

级别 : 外部版主

发消息 + 关注

发表于2020年11月10日 17:11:35
直达本楼层的链接
板凳
显示全部楼层
  1. 一般来说,om模型转换需要tensorflow或caffe框架模型,对2.x版本支持可能不太好,有些算子不支持;

    记得2.x默认保存的是save_model.pb格式吧,这种格式不行的,需要是固化的frozen graph的.pb模型才行,即之后这个.pb模型,同时包括结构和权重才行。请确认下这个。
    但感觉这个可能不是主要原因。

  2. 请确认参数是否设置正确,比如输入张量形状;

  3. 请问使用的是什么设备?如果能使用该设备配套的工具做模型转换可能更好,兼容性好,不易出错。

评论
hhhhhh123 2020-11-10 17:23 评论

1.我已经把SavedModel转为了1.x那种 frozen的pb格式,我不是用的SavedModel文件夹中的pb文件去modelarts中转换。 2.internal service error,导致convert任务根本没启动,应该不是错误原因。 3.我使用的hilens kit(昇腾310),模型转换不都是在modelarts上做的?还有别的办法吗?我可以试试

... 查看全部
Tianyi_Li 2020-11-10 17:24 评论

评论 hhhhhh123:HiLens Studio里可以使用终端转换模型的。

... 查看全部
点赞 评论 引用 举报

Tianyi_Li

发帖: 289粉丝: 88

级别 : 外部版主

发消息 + 关注

发表于2020年11月10日 17:26:45
直达本楼层的链接
地板
显示全部楼层
  1. 可以在HILens Sudio中新建终端,命令行完成模型转换。
    https://support.huaweicloud.com/usermanual-hilens/hilens_02_0098.html

  2. HiLens云端管理控制台也提供了模型转换的模板。

评论
hhhhhh123 2020-11-10 17:33 评论

好的,谢谢,我尝试一下,可以先不结帖。 虽然modelarts上有yolov3,但是训练时可以控制的参数不多,训练效果不太好,所以我是使用github的一个tf2的yolov3实现来训练的。 我想应该不少人也是用自定义的yolov3来训练的,如果我跑通了,我的例子可能也可以帮到别人吧

... 查看全部
点赞 评论 引用 举报

Tianyi_Li

发帖: 289粉丝: 88

级别 : 外部版主

发消息 + 关注

发表于2020年11月10日 17:39:38
直达本楼层的链接
5#
显示全部楼层

嗯嗯,官方的可调参数确实不多,但背后可能做了很多贴心细致的设计,比如数据增广等之类的,来提升训练效果,这些接口并未开放。

如果想自行训练的话,可以参考一个这个版本的,在其他使用Ascend 310处理器的设备上是可行的,可转为.om模型。

链接:https://github.com/wizyoung/YOLOv3_TensorFlow

同时附上在其他Atlas设备上转换为.om模型的教程供参考:

https://bbs.huaweicloud.com/forum/thread-45383-1-1.html

https://bbs.huaweicloud.com/forum/thread-68475-1-1.html


评论
hhhhhh123 2020-11-10 18:04 评论

1.可是如果有数据增广的话,效果应该不差啊(btw,如果不是效果相差很大,我也不想自己训练的,modelarts还是挺方便的) 2.刚刚我按照你的那个链接,在terminal里面进行转换了,提示有些算子不支持,有些我能理解,可是我在另外一个帖子中也询问过,也查询过你们的文档了,leakyRelu是支持的啊,为什么我terminal中显示转换leakyRelu失败?(我除了Leaky以外,还有别的算子也不支持转换,这个我能理解) 3.我后面会试试你的这个GitHub链接,谢谢

... 查看全部
Tianyi_Li 2020-11-10 18:16 评论

评论 hhhhhh123:可能是不同的TensorFlow版本差异吧,你试试1.12版本呢,还有就是可能不符合约束。

... 查看全部
hhhhhh123 2020-11-12 09:57 评论

评论 Tianyi_Li:你意思是我leakyLU转换不成功可能是因为我一开始使用tf2训练?意思是哪怕算子都是同一个,也可能因为使用的tf版本不同,导致不能满足某些转换的约束条件,从而无法转换? 还有就是我还是想知道,是不是其实直接用modelarts也可以达到很好的效果?是不是因为我自己操作不当才效果不明显?这方面有什么指导吗? 谢谢。

... 查看全部
点赞 评论 引用 举报

zhitu-gaohao

发帖: 3粉丝: 1

级别 : 新手上路

发消息 + 关注

发表于2020年11月10日 17:39:46
直达本楼层的链接
6#
显示全部楼层

可以把模型转换的问题错误日志贴出来。

转换任务的日志输出为”Internal service error“,一般情况是代码问题居多,还有参数是否设置正确,比如输入张量形状、名称。

评论
hhhhhh123 2020-11-10 18:01 评论

Start conversion job. Internal service error. Job convert-9a6d convert failed. 日志就这三行

... 查看全部
点赞 评论 引用 举报

Tianyi_Li

发帖: 289粉丝: 88

级别 : 外部版主

发消息 + 关注

发表于2020年11月12日 13:43:52
直达本楼层的链接
7#
显示全部楼层

应该会的,或者你试试设置动态学习路,虽然没说可以这样设置,但可以试试。

点赞 评论 引用 举报

Tianyi_Li

发帖: 289粉丝: 88

级别 : 外部版主

发消息 + 关注

发表于2020年11月12日 15:59:12
直达本楼层的链接
8#
显示全部楼层

你是用什么转换模型的?

  1. ModelArts的模型转换

  2. HiLens Studio的开终端,命令行转换;

  3. HiLens云端控制台的模型转换;

    推荐第二种试试。

评论
hhhhhh123 2020-11-12 17:18 评论

tf2.x和tf1.x 得到模型都尝试过了(你说的方法1和2都试过了),都是说 leakyLU和FusedBatchNormV3不支持。 如果方便的话,我可以发给你看一下check_result.json

... 查看全部
hhhhhh123 2020-11-12 17:19 评论

tf1.x 甚至用的就是你说的github

... 查看全部
hhhhhh123 2020-11-13 14:31 评论

在线等。。。。

... 查看全部
点赞 评论 引用 举报

Tianyi_Li

发帖: 289粉丝: 88

级别 : 外部版主

发消息 + 关注

更新于2020年11月13日 15:09:51
直达本楼层的链接
9#
显示全部楼层

你好,我试了一下,是可以成功转换的(但还没有实际部署使用),可以得到.om模型,你是不是操作有什么问题 ?(我是在HiLens Studio下转换的,使用的是上面GitHub链接提供的模型)

image.png

评论
hhhhhh123 2020-11-13 17:47 评论

已回复,为了发图片,所以评论在下面的帖子。

... 查看全部
点赞 评论 引用 举报

andyleung

发帖: 764粉丝: 57

级别 : 外部版主

发消息 + 关注

发表于2020年11月13日 15:18:35
直达本楼层的链接
10#
显示全部楼层

模型转换涉及的东西还是挺多的,以后我也得多注意注意一下~

点赞 评论 引用 举报

hhhhhh123

发帖: 8粉丝: 0

级别 : 新手上路

发消息 + 关注

发表于2020年11月13日 17:46:09
直达本楼层的链接
11#
显示全部楼层

image.png 这是我在hilens studio terminal中进行的转换。


我找到了一个华为博客的链接,已经解决了fusedbatchnorm和addv2的问题了。现在就差leakyLU(这个不是很难解决)

我好奇的是,①你是在hilens studio的terminal中进行的转换吗?还是公司内部什么的高版本的terminal中?

②你是怎么保存的pb模型?如果方便的话可以分享一下你的pb模型和保存pb模型的代码吗? 你用netron打开你的pb模型,难道里面没有fusedbatchnormV3吗?

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册