yd_272054718的论坛回复_云社区-华为云

Modelarts训练Pycharm ToolKit训练：准备工作：注册华为云账号，获取AK/SAK，授权ModelArts，并申请华为云代金卷；获取训练数据集，并进行数据预处理，例如离线制作tfrecords；将数据集（训练脚本）上传到OBS；下载OBS-Browser+，根据指导获取AK/SK，登录；创建文件夹；将数据集拖入即可上传成功。安装Pycharm IDE及Toolkit插件；对TF训练代码进行NPU的迁移与适配。OBS/Modelarts/Pycharm的关系：对象存储服务（object storage service OBS）：是基于对象的海量存储服务，为客服提供海量、安全、高可靠、低成本的数据存储能力；ModelArts平台：是华为云面向开发者的一站式开发平台，开发者可以在云上进行数据处理、模型训练以及模型部署等操作，自身不具备存储服务Pycharm插件ToolKit：为开发者快速的将本地代码提交到公有云的训练环境，协助用户完成代码上传、提交训练作业、将训练日志获取到本地展示等用户只需要专注于本地的代码开发即可。训练前的准备工作：1.AK/SAK的获取：在华为云账号中心的“管理我的凭证“申请访问密钥，之后会得到AK/SAK。最多可以添加两个。2.授权ModelArts：ModelArts的全局配置->“北京四区“->获取访问授权3.下载OBS下的OBS_Browser+和ModelArts下的Pycharm-ToolKit以及网上下载PyCharm-community版本4.在Pycharm中增加Ptcharm-ToolKit插件：setting->plugins->上传TK包。ModelArts上配置AK/SAK。5.安装OBS，AK登录，创建文件夹，上传数据集cache文件夹的内存为3T，比较大，一般将数据集和结果存在cache上。修改脚本以支持Pycharm训练： 1、将OBS数据集传输至Modelarts，OBS对象存储服务是s3协议，不能在代码中直接使用该路径，需要使用moxing的接口mox.file.copy_parallel()将训练数据从OBS文件夹中拷贝到Modelarts任务器中。Modelarts会挂载硬盘至“/cache”目录，用户可以使用此目录来存储临时文件，“/cache”与代码目录共有资源，不同资源规格有不同的容量，选用昇腾AI引擎具有3T的容量大小。Modelarts启动一个任务时，会根据界面选择的AI Engine配置，创建一个全新的Docker容器，当训练结束或者异常时，会自动销毁该容器和释放占用的处理器资源，并删除上面的代码和数据。 2、将Modelarts的训练结果传输至OBS，训练结束后，需通过mox.file.copy_parallel()接口将容器中的训练结果数据传输至OBS； 3、依赖包的引用和配置（可选）和指定PYTHONPATH（可选）pycharm 训练作业：1.配置job configurations：AI Engine：Ascend-Powered-Engine TF-1.15-python3.7-aarch64 Boot File Path：modelarts启动的脚本 code directory：脚本代码的文件路径 OBS Path：需要的OBS路径 Data Path in OBS：obs上的数据集的位置勾选Debugger生成Dump数据和算子编译.o数据。2.单击“Apply and Run”，将自动上传本地代码至云上ModelArts并启动训练；3.训练过程中，可以在控制台查看训练作业日志；其中ModelArts Event Log栏为工具打印的日志，Modelarts Training Log为训练脚本代码打印的。4.训练完成后，可以在项目的MA_LOG文件夹下看到含有对应JOB名称的训练作业日志。在OBS查看训练输出结果：提交训练作业时，系统将自动在配置的OBS Path中使用作业名称创建一个新的文件夹，用于存储训练输出的模型、日志和代码；在作业名称下分别新建三个文件夹“code”、“log”、“output”，用于存储训练代码、日志和输出模型。模型调优：采集Dump数据，通过精度比对工具进行精度分析；采集Profiling数据，通过Profiling工具进行性能分析；通过Auto Tune工具进行算子自动调优。ModelArts Web训练：ModelArts Web训练需要在昇腾AI处理器上调试基本没有问题后，直接在Web页面上部署训练。修改训练脚本以支持Web页面训练：需要保证脚本中的输入路径（data_url）和输出路径（train_url）尽量为相对路径，以免造成拷贝到ModelArts容器后路径失效。训练脚本的依赖包的引用和适配：由于无法知晓“project_dir”在容器中的位置，所以利用绝对路径，在“main.py”中将“project_dir”添加到“sys.path”中，再导入。启动训练脚本之前指定PYTHONPATH训练脚本和数据集上传到OBS创建OBS桶，并将训练集和训练脚本上传到桶目录下，并创建训练输出目录和日志输出目录：test：dataset、train、output、log创建训练任务 1、进入ModelArts主页并进入控制台； 2、创建算法：算法页面配置：注意数据集路径data_url和输出路径train_url以及脚本启动文件路径等配置 3、下一步在“超参规范”页面中，可以根据实际情况定义此算法的超级参数（可选）；下一步的“使用约束”页面中，可以定义此算法的输入约束和训练约束。 4、使用已有算法创建训练作业以及训练配置：算法来源：算法管理算法名称：选择上一步创建好的算法资源池：选择公共资源池>Ascend，规格选择Ascend:1*Ascend910CPU：24核96GiB，表示单机单卡规格。 5、查看运行结果：在训练作业列表中，可查看作业的运行详情；在“日志”页签查看当前训练作业的运行日志并可下载日志到本地；查看资源占用情况：如果NPU曲线不为0，说明当前网络下沉到了昇腾AI处理器上训练。