【昇腾CANN训练营第二期】【模型营】高玩赛作业:深度学习之后的发展(一篇写跑了题的命题作文)

举报
张辉 发表于 2021/08/08 11:54:51 2021/08/08
【摘要】 谁也没想到张小白会交一份满分只有30分的高玩赛作业。

本帖来自论坛帖:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=146061

其实张小白根本就驾驭不了这么宏大的主题,也不知道阿ZUN哥为啥要出这样的题目,张小白心想,可能是因为他特别想给人打分(而且听说新手营的作业是好是坏他打的都是满分),所以张小白其实也很想得到这个选题的满分(30分)。当然,当看到不超过三页纸这个要求的时候,张小白彻底放弃了。因为作为话痨的张小白,如果写一篇少于三页纸的博客,他一定是疯了。(不信请大家移步:https://bbs.huaweicloud.com/community/usersnew/id_1552550689252345 )要是找到一篇篇幅少的,张小白就把自己的性 别去掉。

2019年之前,张小白对于AI的认识,除了王力宏和李开复的那首《AI爱》,其实还仅限于各种影视,比如斯皮尔伯格的《人工智能》、《少数派报告》,还有RootShaw的《疑犯追踪》等等。那个时候的AI可能都是小孩子或女孩子。

张小白从“云享读书会”( https://bbs.huaweicloud.com/forum/thread-114236-1-1.html )开始,就跟华为云结下了不解之缘,2020年,张小白参加了《华为云2020 AI实战营》,就开始了在人工智能、机器学习、深度学习、神经网络等方面的漫长的“浅度学习”过程。

尽管AI(人工智能)、ML(机器学习)、DL(深度学习)之间有什么大圈包中圈包小圈的说法,浅薄的张小白只能认为这三个基本上是一个东西。如果市面上《人工智能》(Stephen Lucci等)、《深度学习》(Ian Goodfellow等)、《机器学习》(周志华)、甚至《智能计算系统》(陈云霁)这样的名字,都可以认为是深度学习的书。

很多书里面的章节大多是卷积神经网络,如图像分类(AlexNetVGGResNet等)、图像检测(YoLoSSDFastRCNN等)、循环神经网络(RNNLSTMGRU等)、对抗生成网络(BigGAN、老谭生成器StyleGAN等),加上编程框架(TensorFlowKerasPyTorchMindSporePaddlePaddle和早期的MXNetCaffe等)。有些较为实战的书还提供了Python、线性代数、微积分概率论、数理统计等前置知识的介绍。

随着深度学习的“深度进步”,又有如联邦学习(一种保护数据隐私基本上的分布式学习技术)、强化学习(不同于监督学习和非监督学习,通过接受环境对动作的反馈获取学习信息并更新模型参数)、集成学习(组合多个弱监督模型以期待得到一个更好更全面的强监督模型)、TinyML(在IoT和微处理器等超低功耗设备上进行AI计算)、AutoML(模型自动化学习参数无需人工干预)和分布式人工智能(基于分布式计算框架、高层联邦体系HLAMulti-Agent体系的群体智能计算)等等概念涌现出来。(当然,张小白对于以上所有名词的认识大概仅仅在看目录的层次。)

不得不说,《华为云2020 AI实战营》真的是张小白系统学习深度学习的启蒙教程。虽然在学习的时候感觉到云里雾里的,但是反复的灌输也能让张小白拥有一些刻板的印象,比如在图像分类、物体检测、图像分割、人脸识别、OCR、视频分析、NLP、语音识别等等应用上,AI到底在做什么?而华为云的ModelArts也是张小白在拥有Atlas 200DK之前学习AI的重要途径。BTW:今年的《华为云2021 AI实战营》又开启了,学习的内容似乎更丰富了。所以张小白又报名参加了(只是可能没那么多时间去学了......

张小白后来通过华为云官网、论坛、微信群和华为小助手朋友圈等等,进一步了解了昇腾(华为基于昇腾NPU为基础的AI全栈)、MindSpore(华为自研的深度学习框架)、鲲鹏(基于ARM架构的鲲鹏 CPU为基础的国产生态)、NAIE(基于电信业务场景的深度学习体系)、HiLens(使用了昇腾Atlas310芯片却不归属于昇腾部门的产品)、AIoTIoT部门向AI伸出的魔手)等华为各种涉及或者接近AI相关的产品或者服务。可以这样说,AI已经进入到了华为产品和服务的各个细分领域。当然了,对于华为内部,也是时而和气生财、时而刀光剑影。

张小白评估了一下自己的实力,觉得还是从应用的角度着手去了解深度学习、了解华为的深度学习的产品。就此张小白先二手入手了一台Atlas 200DK,开始了征战AI的实践旅程。要说在云上的ModelArts,让人感悟到AI的强大,那么手边的200DK,真的让自己觉得“AI在身边”。

就像老师(忘记是哪个老师了,是不是老谭?)在CANN训练营课程里讲的那样——应用营让人做出个应用、这只是把深度学习当做是一个黑盒子,模型营却是让人进入这个盒子,看看它的构造。比如它到底用的是啥神经网络,它有可能用怎样的框架实现。当然,算子营就是更进一步了,它的目的是让大家在昇腾环境中,把别的框架的东西都挪到华为的昇腾环境上来,如果无法运行,就做出自定义算子让它运行。

这里还是要细说一下张小白与MindSpore的结缘。张小白在20209月,是应IoT团队的邀请参加了HC2020大会,但是却参加了昇腾的训练营。听了王南老师和大毛老师的课程,这才对MindSporeCANN有所了解,特别是得到了王南老师的MindSpore的赠书。(参见张小白HC淘金记 https://bbs.huaweicloud.com/blogs/198312 https://bbs.huaweicloud.com/blogs/198316 )HC大会结束后,张小白就在十一假期开始折腾MindSpore的安装,在MindSpore论坛疯狂发贴(美其名曰图文直播),直到现在也一发不可收拾( https://bbs.huaweicloud.com/forum/thread-114102-1-1.html

)。尽管很多AI大佬觉得张小白写的东西简单到不值得一提,没啥技术含量,可是张小白的能力可能也仅仅止步于此。没办法,有多大能力,就尽多大的责任。虽然张小白一直都喜欢超级英雄(无论是漫威的还是DC的),虽不能至,心向往之,只好笔耕不辍,继续努力吧。

张小白参加了MindSpore的线上各种训练营,比如《MindSpore第五期两日集群营》《MindSpore 21天实战营》等。张小白从MindSpore1.0开始看,一直到现在的MindSpore1.3,确实一直在丰富自己的内涵,除了张小白自己小作坊学习的比如PyNative模式、单节点缓存Cache、端侧推理、端云训练、分布式部署Serving等等之外,还有特别高大上的量子学习MindQuantum、盘古超大自动并行模型、迁移学习、联邦学习Federated、调试调优工具MindInsight、高阶API工具TinyMSMindSpore Lite(含IoT)等等。

如果说,MindSpore通过黄之鹏大哥大胡晓曼大姐大带领的团队的努力,将MindSpore变成了目前最受欢迎的国产开源框架,那么昇腾则是靠软硬件结合,走出了一条产业化的路线。

尽管如此,学习昇腾的路线还是尤为艰难的。深度学习=算法+算力+数据。算法可以通过看论文和看ModelZoo的代码大概知道怎么回事儿,数据可以从公网下载一些公共的数据集,但是算力,推理类产品Atlas200DK动辄3999,训练类产品基本上不提供给开发者。这个时候只能求助于ModelArts上的昇腾集群,可是19.9元一小时的费用真的让“仙人止步”。但是,如果开发者都买了GeForce RTX 30803090来做AI计算,那么又跟昇腾几乎是没关系了。(当然MindSpore还是会支持的)。张小白从去年想买一台能做深度学习的电脑到现在,硬是没有成功。所以,可能除了一些AI的企业或者是大型企业,AI的学习可能跟一般的开发者要绝缘了。这就像目前的教育减负一样,都提倡素质教育,不给学生增加负担,那只有富豪的孩子才会花钱请私人教师,而穷人是没有进一步上升的空间了。这点可能是昇腾的运营者需要关注的问题,除了跟高校和企业合作之外(听说都有免费送学生Atlas设备玩的,张小白甚是羡慕),难道就没有独立开发者的深度学习的修炼之路了吗?

绝望中的张小白隐约看到了一丝的希望,就是华为及其昇腾团队,还一直把免费的培训,有奖品的培训,送代金券的培训作为让开发者学习华为产品的动力。尽管能被利益诱惑来的,一定会被别的更大的利益诱惑走,但是总会剩下一批被培养出了感情的华为开发者。他们也许热衷于当大魔王(不停的参加模王赛以获得巨额奖金),也许热衷于精读论文、研究新特性(写活动体验以获得家居小奖品),也许热衷于参与微信群里的讨论(天南海北的人一起欺负小助手),也许还剩下一个孤独的折腾者——张小白,以一己之力购买了2台二手的Atlas 200DK和二手的Atlas 200 HiLens,并在众多的AI牛人面前硬抢一些散落在地上的金币碎片,脸皮厚得令人发指。

让我们回归主题,张小白学习了深度学习之后,深度学习会怎么发展?阿ZUN哥一直说深度学习是个工程科学,也就是“事实、结果、数据是硬道理,没有什么理论可言”。张小白的理解就是,深度学习是一门披着科学外衣的玄学、炼丹学。有些熟练的大魔王甘道夫们,已经熟悉了炼丹的技巧,但是这是他们耐以生存的本领,一般也不会轻易教给别人。而一些不会炼丹的张小白们,他们最好期待华为的团队把这些高阶的API都做好,比如CANNMindX SDK,又比如MindSporeTinyMS,或者像一个简单的DataSet函数,这样就可以知其然而不知其所以然地加载数据集、调通模型,搭建好自己想做的应用。让凯撒的归凯撒,撒旦的归撒旦,好好当一个应用玩家。

所以,汇总起来就是:深度学习将沿着简单化和复杂化两条路线发展,简单的地方,一般的初学者能够通过几句话搭建模型,实现低代码甚至无代码的构建深度学习网络;而复杂的地方,让想学习深度学习算法的人进一步研究算法,想研究深度学习模型的人进一步扩展模型,想做深度学习应用的人去进一步研究应用如何快速搭建。

而最重要的是:张小白能在里面找到自己的一席之地。

(全文完,谢谢阅读)

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200