【昇腾CANN训练营第二期】【模型营】高玩赛作业：深度学习之后的发展（一篇写跑了题的命题作文）

本帖来自论坛帖：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=146061

其实张小白根本就驾驭不了这么宏大的主题，也不知道阿ZUN哥为啥要出这样的题目，张小白心想，可能是因为他特别想给人打分（而且听说新手营的作业是好是坏他打的都是满分），所以张小白其实也很想得到这个选题的满分（30分）。当然，当看到不超过三页纸这个要求的时候，张小白彻底放弃了。因为作为话痨的张小白，如果写一篇少于三页纸的博客，他一定是疯了。（不信请大家移步：https://bbs.huaweicloud.com/community/usersnew/id_1552550689252345 ）要是找到一篇篇幅少的，张小白就把自己的性 别去掉。

2019年之前，张小白对于AI的认识，除了王力宏和李开复的那首《AI爱》，其实还仅限于各种影视，比如斯皮尔伯格的《人工智能》、《少数派报告》，还有Root和Shaw的《疑犯追踪》等等。那个时候的AI可能都是小孩子或女孩子。

张小白从“云享读书会”（ https://bbs.huaweicloud.com/forum/thread-114236-1-1.html ）开始，就跟华为云结下了不解之缘，2020年，张小白参加了《华为云2020 AI实战营》，就开始了在人工智能、机器学习、深度学习、神经网络等方面的漫长的“浅度学习”过程。

尽管AI（人工智能）、ML（机器学习）、DL（深度学习）之间有什么大圈包中圈包小圈的说法，浅薄的张小白只能认为这三个基本上是一个东西。如果市面上《人工智能》（Stephen Lucci等）、《深度学习》（Ian Goodfellow等）、《机器学习》（周志华）、甚至《智能计算系统》（陈云霁）这样的名字，都可以认为是深度学习的书。

很多书里面的章节大多是卷积神经网络，如图像分类（AlexNet、VGG、ResNet等）、图像检测（YoLo、SSD、FastRCNN等）、循环神经网络（RNN、LSTM、GRU等）、对抗生成网络（BigGAN、老谭生成器StyleGAN等），加上编程框架（TensorFlow和Keras、PyTorch、MindSpore、PaddlePaddle和早期的MXNet、Caffe等）。有些较为实战的书还提供了Python、线性代数、微积分概率论、数理统计等前置知识的介绍。

随着深度学习的“深度进步”，又有如联邦学习（一种保护数据隐私基本上的分布式学习技术）、强化学习（不同于监督学习和非监督学习，通过接受环境对动作的反馈获取学习信息并更新模型参数）、集成学习（组合多个弱监督模型以期待得到一个更好更全面的强监督模型）、TinyML（在IoT和微处理器等超低功耗设备上进行AI计算）、AutoML（模型自动化学习参数无需人工干预）和分布式人工智能（基于分布式计算框架、高层联邦体系HLA、Multi-Agent体系的群体智能计算）等等概念涌现出来。（当然，张小白对于以上所有名词的认识大概仅仅在看目录的层次。）

不得不说，《华为云2020 AI实战营》真的是张小白系统学习深度学习的启蒙教程。虽然在学习的时候感觉到云里雾里的，但是反复的灌输也能让张小白拥有一些刻板的印象，比如在图像分类、物体检测、图像分割、人脸识别、OCR、视频分析、NLP、语音识别等等应用上，AI到底在做什么？而华为云的ModelArts也是张小白在拥有Atlas 200DK之前学习AI的重要途径。BTW：今年的《华为云2021 AI实战营》又开启了，学习的内容似乎更丰富了。所以张小白又报名参加了（只是可能没那么多时间去学了......）

张小白后来通过华为云官网、论坛、微信群和华为小助手朋友圈等等，进一步了解了昇腾（华为基于昇腾NPU为基础的AI全栈）、MindSpore（华为自研的深度学习框架）、鲲鹏（基于ARM架构的鲲鹏 CPU为基础的国产生态）、NAIE（基于电信业务场景的深度学习体系）、HiLens（使用了昇腾Atlas310芯片却不归属于昇腾部门的产品）、AIoT（IoT部门向AI伸出的魔手）等华为各种涉及或者接近AI相关的产品或者服务。可以这样说，AI已经进入到了华为产品和服务的各个细分领域。当然了，对于华为内部，也是时而和气生财、时而刀光剑影。

张小白评估了一下自己的实力，觉得还是从应用的角度着手去了解深度学习、了解华为的深度学习的产品。就此张小白先二手入手了一台Atlas 200DK，开始了征战AI的实践旅程。要说在云上的ModelArts，让人感悟到AI的强大，那么手边的200DK，真的让自己觉得“AI在身边”。

就像老师（忘记是哪个老师了，是不是老谭？）在CANN训练营课程里讲的那样——应用营让人做出个应用、这只是把深度学习当做是一个黑盒子，模型营却是让人进入这个盒子，看看它的构造。比如它到底用的是啥神经网络，它有可能用怎样的框架实现。当然，算子营就是更进一步了，它的目的是让大家在昇腾环境中，把别的框架的东西都挪到华为的昇腾环境上来，如果无法运行，就做出自定义算子让它运行。

这里还是要细说一下张小白与MindSpore的结缘。张小白在2020年9月，是应IoT团队的邀请参加了HC2020大会，但是却参加了昇腾的训练营。听了王南老师和大毛老师的课程，这才对MindSpore和CANN有所了解，特别是得到了王南老师的MindSpore的赠书。（参见张小白HC淘金记 https://bbs.huaweicloud.com/blogs/198312 https://bbs.huaweicloud.com/blogs/198316 ）HC大会结束后，张小白就在十一假期开始折腾MindSpore的安装，在MindSpore论坛疯狂发贴（美其名曰图文直播），直到现在也一发不可收拾（ https://bbs.huaweicloud.com/forum/thread-114102-1-1.html

）。尽管很多AI大佬觉得张小白写的东西简单到不值得一提，没啥技术含量，可是张小白的能力可能也仅仅止步于此。没办法，有多大能力，就尽多大的责任。虽然张小白一直都喜欢超级英雄（无论是漫威的还是DC的），虽不能至，心向往之，只好笔耕不辍，继续努力吧。

张小白参加了MindSpore的线上各种训练营，比如《MindSpore第五期两日集群营》《MindSpore 21天实战营》等。张小白从MindSpore1.0开始看，一直到现在的MindSpore1.3，确实一直在丰富自己的内涵，除了张小白自己小作坊学习的比如PyNative模式、单节点缓存Cache、端侧推理、端云训练、分布式部署Serving等等之外，还有特别高大上的量子学习MindQuantum、盘古超大自动并行模型、迁移学习、联邦学习Federated、调试调优工具MindInsight、高阶API工具TinyMS、MindSpore Lite（含IoT）等等。

如果说，MindSpore通过黄之鹏大哥大和胡晓曼大姐大带领的团队的努力，将MindSpore变成了目前最受欢迎的国产开源框架，那么昇腾则是靠软硬件结合，走出了一条产业化的路线。

尽管如此，学习昇腾的路线还是尤为艰难的。深度学习=算法+算力+数据。算法可以通过看论文和看ModelZoo的代码大概知道怎么回事儿，数据可以从公网下载一些公共的数据集，但是算力，推理类产品Atlas200DK动辄3999，训练类产品基本上不提供给开发者。这个时候只能求助于ModelArts上的昇腾集群，可是19.9元一小时的费用真的让“仙人止步”。但是，如果开发者都买了GeForce RTX 3080、3090来做AI计算，那么又跟昇腾几乎是没关系了。（当然MindSpore还是会支持的）。张小白从去年想买一台能做深度学习的电脑到现在，硬是没有成功。所以，可能除了一些AI的企业或者是大型企业，AI的学习可能跟一般的开发者要绝缘了。这就像目前的教育减负一样，都提倡素质教育，不给学生增加负担，那只有富豪的孩子才会花钱请私人教师，而穷人是没有进一步上升的空间了。这点可能是昇腾的运营者需要关注的问题，除了跟高校和企业合作之外（听说都有免费送学生Atlas设备玩的，张小白甚是羡慕），难道就没有独立开发者的深度学习的修炼之路了吗？

绝望中的张小白隐约看到了一丝的希望，就是华为及其昇腾团队，还一直把免费的培训，有奖品的培训，送代金券的培训作为让开发者学习华为产品的动力。尽管能被利益诱惑来的，一定会被别的更大的利益诱惑走，但是总会剩下一批被培养出了感情的华为开发者。他们也许热衷于当大魔王（不停的参加模王赛以获得巨额奖金），也许热衷于精读论文、研究新特性（写活动体验以获得家居小奖品），也许热衷于参与微信群里的讨论（天南海北的人一起欺负小助手），也许还剩下一个孤独的折腾者——张小白，以一己之力购买了2台二手的Atlas 200DK和二手的Atlas 200 HiLens，并在众多的AI牛人面前硬抢一些散落在地上的金币碎片，脸皮厚得令人发指。

让我们回归主题，张小白学习了深度学习之后，深度学习会怎么发展？阿ZUN哥一直说深度学习是个工程科学，也就是“事实、结果、数据是硬道理，没有什么理论可言”。张小白的理解就是，深度学习是一门披着科学外衣的玄学、炼丹学。有些熟练的大魔王甘道夫们，已经熟悉了炼丹的技巧，但是这是他们耐以生存的本领，一般也不会轻易教给别人。而一些不会炼丹的张小白们，他们最好期待华为的团队把这些高阶的API都做好，比如CANN的MindX SDK，又比如MindSpore的TinyMS，或者像一个简单的DataSet函数，这样就可以知其然而不知其所以然地加载数据集、调通模型，搭建好自己想做的应用。让凯撒的归凯撒，撒旦的归撒旦，好好当一个应用玩家。

所以，汇总起来就是：深度学习将沿着简单化和复杂化两条路线发展，简单的地方，一般的初学者能够通过几句话搭建模型，实现低代码甚至无代码的构建深度学习网络；而复杂的地方，让想学习深度学习算法的人进一步研究算法，想研究深度学习模型的人进一步扩展模型，想做深度学习应用的人去进一步研究应用如何快速搭建。

而最重要的是：张小白能在里面找到自己的一席之地。

（全文完，谢谢阅读）