Qcon'2018 全球开发者大会（上海站）参会总结（AI篇）

今年是Qcon大会举办第九年，参会主题30+，依旧是以互联网技术为主的拼盘大杂烩式的技术分享，AI、大数据、编程语言、DevOps、互联网架构、运维等等，几乎所有现在当红的技术实践都有涉及，不管你是从事哪个技术领域，总会找到几个主题与你的兴趣或是工作内容相关，信息量较大，同一时间都是7个议题分享并行，参会最好是按照一条主线进行，否则很容易晕菜了。

我主要参加的是AI（机器学习、深度学习）实践相关的场次，虽然Qcon不是一次专门的AI大会，在AI领域的影响力也与NIPS、AAAI等顶会相去甚远，但Qcon的分享议题一直强调实践驱动，所有参与的技术分享都是在各公司实际落地并规模上线的技术方案，所以，对于AI的应用，Qcon更接地气一些，而且分享嘉宾大都来自于阿里、蚂蚁金服、新浪等一线互联网大厂，从中可以洞察到AI在工业界的工程实践、算法优化等方面的一系列趋势。

AI依旧是各大IT会议的“当红炸子鸡”，如果会议主办方不安排AI相关的议题，那就是跟银子、跟人气过不去，这次Qcon和AI相关的议题大概占到了五分之一到六分之一，但凡大厂的AI议题分享，不管有没有干货，场场爆满，找个地站着都困难。

首先我先分享下参加这次会议对于AI在工业界应用的一些观点，这些观点有些是业界已经达成的共识，有些则属于我的个人看法，不一定正确：

一、AI+时代来临，AI技术正在加速往各个行业渗透

与前两年提出的“互联网+”如出一辙，AI+物流、AI+医疗、AI+广告、AI+汽车……，除开NLP（自然语言处理）和CV（计算机视觉）两大AI传统优势领域外，传统产业如物流、广告投放、金融风控等也开始引入AI技术，并且已经取得不错的效果。例如满帮集团（中国最大的城际整车物流信息平台，估值超60亿美元）采用深度学习的车货匹配调度方案将货源订单转化率提升了5个百分点，同时年节省货车燃油费用860亿元。

二、脱离业务场景谈AI都是耍流氓

以后最缺的可能不是AI算法工程师，而是懂业务的AI工程师。在今后相当长一段时间内，都还是弱人工智能，不存在适用各业务场景的大一统模型和算法，模型效果的好坏，很大程度上取决于你对业务场景理解有多深刻，要知道，从算法角度优化模型是很难的，但从业务角度出发，注重数据质量、特征工程，效果往往是事半功倍。例如同属于计算机视觉领域，视频敏感信息过滤和人物行为识别的模型肯定就不一样，这边采用CNN的4层金字塔模型可以跑出98%的准确率，照搬拿过来应用到你的业务场景可能就是一塌糊涂。

三、AI应用级公司的工程同质化

除开google、英伟达、微软这些AI巨头能引领业界趋势，有能力独自研发机器学习框架、AI芯片等，绝大多数公司都属于AI应用级公司，这些公司基本都采用：

50%AI工程 + 50%算法优化 的模式迭代进行模型的开发和优化。

这些公司的AI工程都通过自研机器（深度）学习平台承载，基本都包含数据管理、数据标注、模型管理、GPU/CPU资源管理等功能，深度学习框架不是tensorflow就是caffe，Pytorch、Keras，会上看了几个公司自研的深度学习平台，功能和架构都差不多，和我司2012的AIFlow也大体相似。算法优化方面也是基于深度神经网络的各种变种模型（CNN、RNN、DNN、PNN、DeepFM等等）来进行参数调优、特征提取等工作。

四、机器学习、深度学习等技术会成为IT从业人员的通用技术栈

 现在越来越多的软件、应用内嵌AI模型，以后AI模块可能会成为软件架构中的“标配”，这些AI模型和业务场景高度匹配，不可能都由AI算法工程师去完成，既懂业务又懂AI的工程类人才是各企业未来最需要的。随着各深度学习框架对算法的高度抽象、GPU/TPU等硬件性能越来越强对于算力的支撑，AI应用的门槛将会进一步降低，AI模型开发将不再神秘，开发一个AI模型就像开发一个app一样。

五、数据将会是公司最重要的资产之一

 在现阶段下，AI都是数据喂出来的，这是业界的通识，谁掌握了海量的高质量数据，谁的AI应用就可能占得先机。现在AI应用领先的公司，首先都是一家大数据公司，例如google（数据来源：搜索引擎）、facebook（数据来源：社交网络）、阿里（数据来源：用户交易行为）、特斯拉（数据来源：行车数据）等等。公司间的合作可以交换技术、商业模式互补、渠道共享，但除非是嫡系或是全资子公司，数据都是不会开放给外部的，会上上汽集团IT事业部的总经理就明确表示，虽然他们和阿里、华为都有深度合作，但数据是绝不可能共享出去的。

六、智能化和隐私保护的矛盾会长期存在

 既然数据是AI的“粮食”，那所有厂家明里暗里都在挖空心思收集用户的数据，不仅手机上的app这样干，现在只要是能联网的设备，如智能音响、汽车、手表等IoT设备，都在收集数据。用户在数据保护方面处于绝对的劣势，尤其是在中国，除非你完全放弃这些设备，和互联网、智能化彻底绝缘，但估计也没几个人做得到。你的所有行为数据、购买数据等都被厂商掌握后，厂家通过AI，就有可能对你的决策作出影响和牵引，这其实是很可怕的，你在今日头条、网易上浏览新闻，会发现你和别人看的并不一样，这就是厂商通过AI选择性推送一些新闻给你，慢慢地改变着你的浏览习惯，舆情监控和公众情绪牵引是每天都在互联网上发生的AI应用。

七、AI只是手段，不是目的

一个公司或是一个产品成功的因素有很多：商业模式、产品质量、用户体验等等，AI更多的是在这些基础上辅助进行改进，解决的更多的是1->100的问题，而不是0->1的问题，一个好的AI应用，对于数据、算力、算法的要求也较高，投入成本较大，不一定适合某些场景，这些场景可能通过自动化或是规则匹配就能解决问题，简单又高效，只要能达到业务目标，多种手段都可以尝试。

以下是我选取了几个有参考意义的实践分享：

1、移动端测AI部署及应用（蚂蚁金服）

现在大部分的AI应用还是在云端/服务端，移动端侧主要是做数据收集，并做一些简单的计算，上传到云端进行模型训练和分类判决，再将结果回传移动端侧。但在实时性、数据保护、成本等几方面来看，存在较大的瓶颈，而移动端如果能部署AI模型，将会有很大的优势，   

 但将模型和计算框架部署到移动端，面临几个较大的问题：

蚂蚁金服给出的解决方案是自研的xNN，这是一个专为移动端部署AI的解决方案。

后台以xqueeze工具链为核心，xqueeze支持对多种深度学习框架模型的压缩优化，能实现50倍的尺寸压缩和更快的模型运行能力。

前台部署剪裁后的计算框架，并包含模型下发、数据统计等功能，能够不更新客户端的情况下，动态下发更新模型，让用户做到完全无感知。 

      xNN的核心在于xqueeze，它的模型压缩流程如下，包括神经元剪枝 (neuron pruning)、突触剪枝 (synapse pruning)、量化 (quantization)、网络结构变换 (network transform)、自适应Huffman编码 (adaptive Huffman)、共5个步骤。通过使得权重稀疏化减少权重参数，并使得精度下降控制在一定范围内甚至不下降，从而达到模型尺寸大幅度减小和更快的模型预测速度。

      会上给出的加速和压缩效果，模型尺寸已经能缩小到几百K的水平，运行速度更快，这套解决方案已经在支付宝中全面上线，今年过年时的扫“福”字就是xNN的首次大规模应用。

2、公路干线运输的AI应用（满帮集团）

这是一个AI和传统产业融合的实践，会前我还不知道有满帮这个公司，上网查了一下，还是个独角兽公司，已经完成E轮融资，是公路货运信息平台国内的No.1。开场还给我们科普了下物流的知识：

1、物流是中国仅次于房地产的第二大产业；

2、全国40多个主要城市的公路干线物流占了总物流的80%；

3、我们购买的农业产品，物流成本占价格的70%以上（终于明白菜农挣不到钱，用户买菜贵的原因了）

既然物流这么重要，中国物流又是哪些人在参与呢？答案是数以万计的个体司机、车队老板、货主、物流公司等等，这些小而散的玩家构成了中国公路干线物流的主体。满帮就是利用互联网平台，将货主和司机汇集起来，促进双方的订单达成，减少成本及浪费。

      如何能让订单转化率尽可能高，满帮在车货匹配场景引入了深度学习算法，将司机、车、货、环境等主体的诸多属性作为特征输入。识别司机最感兴趣、最可能接单的货源，同样，也会给货主推荐最适合拉这批货的司机。

      从上图可以看到，输入层为货源及司机属性，中间层为激活函数为Relu的3层金字塔型（神经元一层比一层少）隐层神经网络，最后的输出层以softmax作为激活函数，计算出来是该司机接受这些货源的概率。模型上其实并不复杂，关键在于对业务场景的理解和特征选取。

下图是AI模型上线后的业务效果：

3、深度学习在阿里机器翻译中的应用（阿里巴巴）

      这次分享的实践主要是在线的商品翻译场景，阿里现在的跨境业务也很多，需要支持多种语言的商品描述，上百万的商品，挨个人工翻译肯定不现实，AI的引入进行机器翻译顺理成章。

      上图简单对比了下SMT（基于统计的机器翻译）和NMT（基于神经网络的机器翻译）的差别，业界一般认为，SMT适合翻译短句，NMT适合翻译长句。

      商品翻译主要的4个难点：

      1、 商品标题原文复杂，质量差；

      2、 语言形态复杂；

      3、 译文干预困难；

      4、 待翻译内容多样化；

      对于商品复杂标题的翻译，如“恒源祥男⼠士短袖t桖夏季新款纯⾊色翻领休闲商务半袖体恤polo衫男装”，这样的标题连中文读出来都费劲就别说翻译成英文了，阿里给出的解决方案是结合用户搜索日志和一定的算法，将原文长标题改为短标题，再进行翻译。

      该算法提出学习任务包含两个Sequence to Sequence任务，主任务对商品标题进行压缩，采用Pointer Network模型，通过attention机制选取原始标题的关键字输出；辅助任务是搜索query生成，由商品原始标题生成搜索query，使得两个任务对于原始标题中重要信息的关注尽可能一致，这样就可以从原始标题中保留更有信息量、更容易搜索到的词。

      某些语言（如俄语、西班牙语）的形态特别丰富，词表对全部语料的覆盖度往往不够，而NMT模型又受限于可用词表大小，导致很多“未登陆词”的产生，严重影响翻译质量。

      阿里提出了一种词干词尾分别预测的NMT网络，在类似俄语这种形态丰富的语言中，词干个数会比词个数少很多，在NMT的解码阶段，每一个解码步骤分别预测词干和词尾。利用当前step生成的词干、当前decoder端的hidden state和源端的source context信息，通过一个前馈神经网络(Feedforward neural network)生成当前step的词尾，网络结构如右上图所示。最后，将生成的词干和词尾拼在一起，就是当前的译文单词。

注：上面介绍的两个技术创新论文已经被AAAI大会收录，感兴趣的同学可以下载相关论文学习

A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data（一种利用用户搜索日志进行多任务学习的商品标题压缩方法）；

Improved English to Russian Translation by Neural Suffix Prediction（一种基于词尾预测的提高英俄翻译质量的方法）

    会上，阿里达摩院的专家还介绍了他们在机器翻译中最新工程实践，由RNN的Seq2Seq模型转变为Transformer模型（谷歌提出），能够获取更加丰富的语义信息和更高效的训练速度，Transformer模型也被认为是当前效果最好的机器翻译模型。

      从阿里给出的对比验证中看到，Transformer对比RNN seq2seq还是有较大的优势。

      最后，还介绍了下谷歌最新发表的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中全面超越人类，这也是最近NLP领域的最大事件，被认为会开启NLP的新时代，感兴趣的同学可以详细阅读下谷歌的论文：BERT:Pre-training of Bidirectional Transformers for Language Understanding

      最后，分享下会上嘉宾给与从事AI工作同事的一些tips：

      1、数据很重要，怎么用好数据更重要

      2、时刻关注学术界工业界的最新进展

      3、亲自动手实现代码

      4、没有最好的模型，只有最合适的模型

      5、模型不能解决所有问题，可以加入人工

      6、换个角度看问题

本文由作者|周捷授权转载，如需转载请与作者联系授权。