AR，让你“眼见为实”

一次失败的购物诞生一个大胆的想法

      在网络购物如此普及的今天，仍然有一些时刻令我们无从选择。2016年，父母乔迁新居，我想网购一套沙发，看遍图片规格、参数大小依然拿不准放在客厅尺寸是否合适，颜色是否搭配，这种看不见、摸不着、全凭想象的不踏实让我最终放弃了线上购买。而造成这种困境的原因就是当前我们使用的手机只能在屏幕上进行交互，而在生活中，很多时候这种局限于屏幕上的交互并不能完全满足用户的需求。

为什么我们的手机不可以更强大？

      一个大胆的想法在我的脑海中诞生。那就是通过增强现实技术（AR），将用户期望的任何事物进行建模，并通过定位跟踪技术将其放置在用户所处的真实世界中，与真实环境融为一体，实现足不出户，将大千世界带进我们的生活环境，让每一部华为手机都成为一个增强现实设备，给每一个用户提供最精准、最稳定的增强现实能力。

      通过增强现实，我们可以将网购平台上的沙发“变”到家里，让你通过手机，就能眼见为实，大致知道沙发合不合适。

向“皇家金字招牌”看齐

      像是发现新大陆的我们干劲十足，在立项前期，我和几位兄弟寻根拓源，与很多潜在的三方合作单位进行了深入的交流，经过交流我们发现，增强现实有很广泛的应用，也是未来手机竞争力的一个重要组成部分。

在电商领域，与京东的交流收获良多，目前京东平台销售的大多为需求度高、规格一致的商品，诸如食品、饮料、电子产品。而对于偏向个性化定制的商品，诸如衣服、饰品、化妆品、家具等，销售较少。其主要原因就在于这一类商品用户都需要眼见为实，只有实际试用才可以确定是否适合自己，满足需求。因此，京东迫切希望能够通过增强现实技术，把虚拟照进现实，打造全新的线上购物体验。

      而在科普教育领域，与故宫博物院的交流更是打破了我们对其的固有印象。受限于经济、地域、时间等因素的限制，很多人没有机会亲自去参观故宫，而简单的图片浏览、视频观看越来越无法满足现代人的精神需求。在新兴展览模式的探索上，他们有很多尝试，《千里江山图》等名画的AR互动展示让人印象深刻，对于建立数字博物馆他们也很有兴趣，既可以实现文物的数字化保护，还可以让文物爱好者在家里亲身感受故宫的每一件藏品。作为一个顶着“皇家金字招牌”的超级IP，面对数字化时代仍然没停下突破的脚步，这就像给项目组打了一针强心剂，我们要变！我们必须成功！

不积跬步，无以至千里

       立项过程中，我们的想法得到了上级领导的高度认可，一个手机AR/VR产品线项目很快成立。虽然在项目初期，大家对于增强现实该怎么做，如何下手还比较迷茫，但是想到背后数亿用户的期待，大家都充满了力量。

      不积跬步，无以至千里，不积小流，无以成江海。我们从翻阅学术论文开始，逐步了解增强现实的技术细节，SLAM算法的原理和实现流程，同时通过竞品分析寻找技术突破口。那段时间像是找回了校园时期奋笔疾书的自己，现在想来依然满心激动。项目正式启动后，软工和其他兄弟部门力出一孔、全情投入，从底层到顶层构建最佳的手机增强现实体验。与此同时，我们考虑到海外客户由于限制因素只能使用谷歌的增强现实能力，在设计增强现实接口时同步兼容谷歌，通过该方案实现华为手机在全世界任何地方通过一套接口实现两种能力的自由切换，极大满足消费者的需求。

       P20发布会时，我们用一周的时间在华为自研引擎中加入了基于图像识别的增强现实能力，用户只要拿着手机扫描一副图片就可以出现对应的增强现实效果。为了配合发布会的展示和介绍，五位同事通宵达旦在300台发布会展示样机中安装了增强现实引擎，并在发布会当天向参观者演示了增强现实的效果，吸引了很多参观者的关注，成为P20发布会的一个亮点。同时也为我们带了更多机会，一位拥有十几家开发平台的负责人在发布会后立即联系，希望使用我们的引擎，开发增强现实应用。

P20发布会现场照

永不满足，勇往直前

      凡事做到80%很容易，最难的是最后的20%。我们的第一版增强现实引擎只是达到了能用的层次，平面识别速度慢，虚拟平面与真实平面贴合不紧密，模型放置在平面后，手机移动过快位置容易浮动，功耗和内存占用比较大，用户体验较差。整个团队从算法到集成到测试都陷入了巨大的压力之中，我们进行了联合攻关，从体验中反馈的一个个问题出发，排查底层到顶层的每一个环节，找到阻塞点。最困难的一个问题是SLAM算法的定位精度差，导致的模型浮动问题，为了解决该问题，我们和2012团队阅读大量文献，尝试各种方案，花了三个月的时间，找到了最佳的方案。现在的华为自研引擎Huawei AR Engine已经在增强现实能力方面达到与谷歌相当的精度，但这并没有使我们松懈。最近人工智能技术的进步，让我们看到增强现实结合深度学习算法的发展空间充满无限可能。

      在团队成员的不断探索学习中，我们发现目前手势识别和肢体骨骼检测都可以实时进行，如果模型在手机端也可以实时计算，同时通过相机预览流获取图像帧，并在屏幕上显示手势检测的结果和骨骼检测的结果，这将是很有趣，更具有互动性的增强现实应用。手机应用可以基于手势识别的结果，将用户的指令转化为某种特效：骨骼检测的结果，可以与手机端的虚拟模型匹配，用户可以自己控制模型的动作，实现与模型共舞。带着这样的灵感，我们开始联合2012等部门共同调研，在大家的共同努力下，最终在Mate 20发布会上，一款基于手势控制的射箭游戏引起阵阵掌声，吸引了广大消费者和媒体的关注。

Mate20射箭游戏展示

      在直播屏幕前，我们激动得像个孩子，团队60多个日夜一切的努力都是值得的！截止到目前，我们除了后置的增强现实能力，还开发了手势，肢体增强现实能力，人脸增强现实能力等。对接了国内主流的三大购物平台，十几家教育，科技，文化，娱乐等领域公司。

      现在，京东、天猫、苏宁等平台的部分产品已经开通了AR购，消费者已经可以使用华为手机把AR购中的家具“变”到自己家中，更真切的观察颜色、造型、尺寸、搭配是不是满足需求；也不用担心博物馆门票太贵、自己没时间，而选择放弃，增强现实博物馆让你手持手机，漫步太空，走过上下五千年，走遍世界每一个角落。

 通过华为手机将家具“变”到家中

      1966年，计算机图形学之父伊万·萨瑟兰开发出第一套增强现实系统，是人类实现的第一个AR设备，被命名为达摩克利斯之剑。52年后，我们为华为手机锻造了一把崭新的达摩克利斯之剑，从“构建万物互联的智能世界”到用增强现实技术来唤醒万物，我们依然在路上，不让畏惧尝试成为体验未知的阻碍，不让目光被蒙蔽而看不到世界的宽广，不让错失未来而成为遗憾，让虚拟照进现实，也照进你和我的心中！

本文为《华为人》版权所有，未经允许不得转载。如需转载请联系编辑部hwrb@huawei.com