系统（uname -a 输出）: Linux job269131fe-job-trainjob-bc57-0 4.19.36-vhulk1907.1.0.h619.eulerosv2r8.aarch64 #1 SMP Mon Jul 22 00:00:00 UTC 2019 aarch64 aarch64 aarch64 GNU/Linux用户（whoami输出）：work用户组(groups输出）：work HwHiAiUserLD_LIBRARY_PATH： /home/work/anaconda/lib:/usr/local/cuda/extras/CUPTI/lib64:/usr/local/lib:/usr/local/openmpi/lib::/usr/local/Ascend/fwkacllib/lib64/:/usr/local/Ascend/driver/lib64/common/:/usr/local/Ascend/driver/lib64/driver/:/usr/local/Ascend/add-ons/PATH： /home/work/anaconda/bin:/home/work/jdk1.8.0_212/bin:/home/work/jdk1.8.0_212/jre/bin:/home/work/ddk/bin/x86_64-linux-gcc5.4:/usr/local/openmpi/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/local/Ascend/fwkacllib/ccec_compiler/binPYTHONPATH： /home/work/user-job-dir::/usr/local/Ascend/opp/op_impl/built-in/ai_core/tbe

华为云ID: yehongxia课程很不错，走了一遍，熟悉了流程。希望能够了解，怎么结合ModelArts和MindSight/TensorBoard，实时观察整个训练流程（例如Accuracy变化）和训练性能（Profiling）信息。未来能否支持Docker+Ascend训练。我发现在训练任务中，尤其在初期调整网络的时候，出现某些错误会指向某个代码目录；但是只有训练的日志文件，没有办法进一步追踪问题。关于训练日志文件里的训练速度信息（global_step/sec），不同epoch，变化很大。从10 global_step/sec左右（已经排除最初几个epoch），到38 global_step/sec左右。一个epoch是92个global_step（training图片总数是3271*0.9=2944张=92*32），每个global_step是32张图片(batch size=32)。所以训练速度相当于是从320 images/sec到 1216 images/sec之间。Ascend 910官方的ResNet50性能数据大概是~1700 images/sec。不知道是训练速度不稳定，还是训练速度报告的不准确。希望能得到一个较为稳定准确的性能数据，可以用来对要训练的任务做一个大致训练时间的评估。