建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

芳菲菲兮满堂

发帖: 30粉丝: 3

级别 : 注册会员

发消息 + 关注

更新于2020年11月18日 19:14:12 100 3
直达本楼层的链接
楼主
显示全部楼层
[问题求助] 【mindspore】【模型保存】训练图神经网络过程中保存ckpt文件失败

【功能模块】

          今天再modelarts上训练bgcf图神经网络模型,里面有保存ckpt的操作,训练过程中也没报错,但是在使用moxing拷贝到obs中提示no file to copy ,应该怎样解决呢?


【操作步骤&问题现象】

1、代码如下,我加了打印,已经调用了保存ckpt的方法

# Copyright 2020 Huawei Technologies Co., Ltd
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ============================================================================
"""
BGCF training script.
"""
import os
import time

from mindspore import Tensor
import mindspore.context as context
from mindspore.common import dtype as mstype
from mindspore.train.serialization import save_checkpoint
import moxing as mox


from src.bgcf import BGCF
from src.config import parser_args
from src.utils import convert_item_id
from src.callback import TrainBGCF
from src.dataset import load_graph, create_dataset


local_data_path = '/cache/data'
local_train_url = '/cache/train_url'

if not os.path.exists(local_train_url):
    os.makedirs(local_train_url)

def train():
    """Train"""
    num_user = train_graph.graph_info()["node_num"][0]
    num_item = train_graph.graph_info()["node_num"][1]
    num_pairs = train_graph.graph_info()['edge_num'][0]

    bgcfnet = BGCF([parser.input_dim, num_user, num_item],
                   parser.embedded_dimension,
                   parser.activation,
                   parser.neighbor_dropout,
                   num_user,
                   num_item,
                   parser.input_dim)

    train_net = TrainBGCF(bgcfnet, parser.num_neg, parser.l2, parser.learning_rate,
                          parser.epsilon, parser.dist_reg)
    train_net.set_train(True)

    itr = train_ds.create_dict_iterator(parser.num_epoch, output_numpy=True)
    num_iter = int(num_pairs / parser.batch_pairs)

    for _epoch in range(1, parser.num_epoch + 1):

        epoch_start = time.time()
        iter_num = 1

        for data in itr:

            u_id = Tensor(data["users"], mstype.int32)
            pos_item_id = Tensor(convert_item_id(data["items"], num_user), mstype.int32)
            neg_item_id = Tensor(convert_item_id(data["neg_item_id"], num_user), mstype.int32)
            pos_users = Tensor(data["pos_users"], mstype.int32)
            pos_items = Tensor(convert_item_id(data["pos_items"], num_user), mstype.int32)

            u_group_nodes = Tensor(data["u_group_nodes"], mstype.int32)
            u_neighs = Tensor(convert_item_id(data["u_neighs"], num_user), mstype.int32)
            u_gnew_neighs = Tensor(convert_item_id(data["u_gnew_neighs"], num_user), mstype.int32)

            i_group_nodes = Tensor(convert_item_id(data["i_group_nodes"], num_user), mstype.int32)
            i_neighs = Tensor(data["i_neighs"], mstype.int32)
            i_gnew_neighs = Tensor(data["i_gnew_neighs"], mstype.int32)

            neg_group_nodes = Tensor(convert_item_id(data["neg_group_nodes"], num_user), mstype.int32)
            neg_neighs = Tensor(data["neg_neighs"], mstype.int32)
            neg_gnew_neighs = Tensor(data["neg_gnew_neighs"], mstype.int32)

            train_loss = train_net(u_id,
                                   pos_item_id,
                                   neg_item_id,
                                   pos_users,
                                   pos_items,
                                   u_group_nodes,
                                   u_neighs,
                                   u_gnew_neighs,
                                   i_group_nodes,
                                   i_neighs,
                                   i_gnew_neighs,
                                   neg_group_nodes,
                                   neg_neighs,
                                   neg_gnew_neighs)

            if iter_num == num_iter:
                print('Epoch', '%03d' % _epoch, 'iter', '%02d' % iter_num,
                      'loss',
                      '{}, cost:{:.4f}'.format(train_loss, time.time() - epoch_start))
            iter_num += 1

        if _epoch % parser.eval_interval == 0:
            print ("save ckpt")
            save_checkpoint(bgcfnet, local_train_url + "bgcf_epoch{}.ckpt".format(_epoch))

if __name__ == "__main__":
    context.set_context(mode=context.GRAPH_MODE,
                        device_target="Ascend",
                        save_graphs=False)

    parser = parser_args()
    os.environ['DEVICE_ID'] = parser.device




    print('Download data.')
    mox.file.copy_parallel(src_url=parser.data_url, dst_url=local_data_path)

    train_graph, _, sampled_graph_list = load_graph(local_data_path)
    train_ds = create_dataset(train_graph, sampled_graph_list, parser.workers, batch_size=parser.batch_pairs,
                              num_samples=parser.raw_neighs, num_bgcn_neigh=parser.gnew_neighs, num_neg=parser.num_neg)

    train()
    mox.file.copy_parallel(src_url=local_train_url, dst_url=parser.train_url)

2、


【截图信息】

2020-11-18 19-10-45屏幕截图.png



【日志信息】(可选,上传日志内容或者附件)


举报
分享

分享文章到朋友圈

分享文章到微博

chengxiaoli

发帖: 67粉丝: 17

级别 : 版主

发消息 + 关注

发表于2020年11月18日 19:25:09
直达本楼层的链接
沙发
显示全部楼层

用户您好,您的问题已经收到,我们的技术支撑会尽快帮助您分析并回复,请耐心等待下~

点赞 评论 引用 举报

Manson

发帖: 0粉丝: 1

级别 : 新手上路

发消息 + 关注

发表于2020年11月19日 09:57:56
直达本楼层的链接
板凳
显示全部楼层

查看脚本中,指定保存ckpt的路径下有没有生成ckpt文件。

如果存在,查看拷贝的代码是否正确

如果不存在,查看保存ckpt的逻辑是否正确

评论
芳菲菲兮满堂 2020-11-19 10:07 评论

保存模型的逻辑都是框架里面的代码 至于为什么没有保存成功 不是应该开发人员去查下mindspore.train.serialization下的save_checkpoit方法吗 ?

... 查看全部
Manson 2020-11-19 15:53 评论

评论 芳菲菲兮满堂:那请问在你指定的路径下,生成ckpt文件了吗

... 查看全部
芳菲菲兮满堂 2020-11-19 16:08 评论

评论 Manson:木有生成

... 查看全部
点赞 评论 引用 举报

芳菲菲兮满堂

发帖: 30粉丝: 3

级别 : 注册会员

发消息 + 关注

发表于2020年11月21日 21:18:29
直达本楼层的链接
地板
显示全部楼层

使用notebook环境可以保存成功ckpt文件 估计是目录权限的问题 后面研究下modelart集群中的目录权限 

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册