【2023 · CANN训练营第一季】基于昇腾910的TF网络脚本训练（ModelArts平台）

- 准备工作:

1.注册华为云账号，获取AK/SAK，授权ModelArts，并申请华为云代金券 2.获取训练数据集，并进行数据预处理，比如离线制作成tfrecords(建议，可选) 3.将数据集(训练脚本)上传到OBS 4.安装PycharmIDE及ToolKit插件 5.对Tensorflow训练代码进行NPU的迁移&适配

• 创建并提交训练任务 1.Pycharm打开训练工程代码，配置训练参数，下发训练任务 2.查看训练结果 创建并提交训练任务 1.Pycharm打开训练工程代码，配置训练参数，下发训练任务 2.查看训练结果 Modelarts官网教程:Modelarts官网教程 OBS Browser+下载:OBS Browser+下载 ModelArts管理控制台: ModelArts管理控制台

OBS/ModelArts/Pycharm的关系

在这里插入图片描述

ModelArts平台:它是华为云面向A开发者的一站式开发平台，开发者可以在云上进行数据处理、模型训练以及模型部署等操作，但它自身不具备存储服务。 对象存储服务(Object Storage Service，OBS):它是一个基于对象的海量存储服务，为客户提供海量安全、高可靠、低成本的数据存储能力 Pycharm插件ToolKit:为开发者快速的将本地代码提交到公有云的训练环境，协助用户完成代码上传提交训练作业、将训练日志获取到本地展示等，用户只需要专注于本地的代码开发即可。

准备工作

申请代金券

数据集获取

数据集预处理

下载好的数据集一般为原始格式，训练时我们需要将其转换为tfrecord格式进行训练。有的训练脚本数据集小，将转换代码直接写在训练脚本中，读取原始格式的数据集，例如Bert-Finetune的squad阅读理解任务: 但是通常对于大多数训练任务，数据集比较大，例如Resnet的ImageNet数据集124GBert-Pretrain的Wiki数据集340G。这些训练脚本会提供已有的数据预处理脚本，提前将数据集预处理并生成tfrecord。

注意：数据集需要上传至华北-北京四。

下载OBS: OBS 工具 安装PyCharm toolkit

在PyCharm中配置AK和SK

在这里插入图片描述

在PyCharm右下角出现下列提示则说明成功：

安装OBS

登录OBS：