AR/VR 的梦想已经成为过去

这款AR产品主要由LED及旋转叶片投影机组成，当较细的叶片旋转后，会有一种透明消失的感觉。之后再将视频画面展示在高速旋转的叶片之上，造成投影在空气中的假象，加上特殊处理的3D视频，效果很逼真。

AR能产生各种惊艳的效果。言归正传，我们来看看CES 2017 VR/AR 展台的大致情况。今年三大头显缺席CES，CES不再是三大头显的天下了。随着生态型企业的陆续进入，降低了VR/AR进入门槛，促成了越来越多的厂商携自己的VR/AR 相关产品亮相CES。为此，今年CES主办方单独为VR/AR开设专区，可见，VR/AR已经成为一股不可忽视的新生力量。

具体地，微软在未来的几个月内还将和戴尔、宏碁、惠普、联想和3Glasses合作一起推更加低廉的类HoloLens的AR一体机。英特尔也宣布，Project Alloy将于2017年第四季度正式发货。 Alloy将采用英特尔最新第7代CPU和RealSense，前部搭载鱼眼镜头以及传感器。这两家在智能手机时代失势的巨头都希望能够抓住移动VR/AR这一波趋势。

毋庸置疑，本次CES微软的VR/AR阵营、英特尔的Project Alloy和谷歌Daydream、Tango阵营成为新焦点。可以看出，谷歌Daydream家族越来越庞大，支持Daydream平台的手机除了谷歌自家的Pixel和Pixel XL，还有Moto Z、ZDroid以及Axon 7，未来三星、LG、HTC、小米、阿尔卡特等手机厂商也将加入谷歌Daydream阵营。

有个非常意思的事情，按照常人的逻辑，高通、英特尔、Nvidia 本应是井水不犯河水，他们之间本没有太多正面的竞争，但那是PC、移动互联网时代的行业划分，已经过时了。从这次CES 来看，三者的交集越来越多，人工智能、VR/AR、物联网和无人驾驶等领域将成为下一个火药味十足的战场。所以阿里集团必须在这些方面有所为，否则非常被动，只能沦为看客。

VR 成为潮流所趋，AR 会更加鼎盛。AR的表现形态更贴合线上线下购物的诉求。我们着重分析一下AR目前所面临的挑战。归纳起来有五点，分别是移动性、爆款设备、续航能力、app生态系统和电信公司跨行业补贴。

从本次CES上我们可以看出AR移动化趋势十分明显。要想随时随地传输具有沉浸感的优质的内容，需要有高速的移动网络支持。越来越多的AR设备支持移动连接。英特尔、高通和华为都在5G网络上频频发力。英特尔推出了业界首款同时支持6GHz以下频段和毫米波频段的5G调制解调器。凭借这款调制解调器，英特尔在高通最擅长的领域先下一局，让人刮目相看。

由于AR涉及到复杂的图像识别跟踪和3D渲染，对CPU和GPU的计算能力和功能都提出了更高的要求。NVIDIA分别推出了Drive PX、 Drive PX 2这两个计算平台，其中Co-Pilot包括面部识别、头部追踪、视线追踪以及读唇技术，GeForce与Facebook Live平台合作，游戏、AR/VR、数据中心和自动驾驶是NVIDIA的四大业务，而计算能力在这几个领域中都将发挥重要作用。至于电池续航能力，高通、Intel和Nvidia等公司已经意识到这方面的问题，正在大力研究处理器的智能化电池管理。例如骁龙835已经不仅仅是一款手机处理器，高通宣称这款处理器完全适合无人驾驶、VR/AR等更复杂的领域。

其实硬件并不是阻碍未来几年制约AR普及的主要障碍，相反，有吸引力的内容的缺乏、AR应用用户体验问题以及开发成本高是我们需要解决的紧迫问题。Vuforia等AR SDK 提供商为了普及AR应用，打造了内容制作及分发平台，提供模型、动画和配音音效的制作工具，满足用户多样化的需求。Fyusion 建立了专为移动设备打造的 AR 内容制作平台。通过计算机视觉和机器学习技术，创造了一个基于手机端的平台，用于创建 AR 内容。CapturingReality公司开发了一整套捕捉和还原3D模型的技术，提供编辑器，供美术使用。

眼镜方面，科叔宣布Intel Project Alloy将开放给开发者，并计划与顶级 OEM 合作，并且将在2017年Q4推出 Project Alloy 的消费版产品，第三方厂商都可以推出基于这套方案的产品。许多国内外厂商推出了AR 眼镜，从分辨率、FOV和计算性能等方面做比较，还是微软的Hololens AR 设备表现最好。但就是Hololens AR 眼镜也才刚刚及格，还有很长的路要走。

从长时间续航能力、app生态系统、移动性和电信补贴来看，眼镜设备都不占优势，相反手机已具备上述特征。ASUS在CES上发布Zenfone AR Tango 手机，预载的 Android 7.0 Nougat系统支持 Daydream VR 功能，用户用一部手机玩尽 Google 的AR 和VR两大功能。用户只需将 Zenfone VR 放入 Google的Daydream VR 装置就可以使用 Daydream Apps，而开放 Tango 模式就能使用 Tango Apps。不久，华为表示会继联想和华硕后加入 Tango 圈子。BMW 也宣布进一步将 Tango 技术运用到营销体验上，销售人员透过应用程序就可以让客户看到 BMWi3 系列的内装及其细节。

虽然AR 眼镜和AR手机相继问世，但是市场上还是缺乏像在移动互联网拉开时候iphone那样的标志性设备。

在2017年移动平台总结和规划会上南天提醒我们要看外部形势，结合外部形势，以及我们业务和技术的特点来思考团队的目标和抓手。前面我们分析了AR/VR现状和未来发展趋势，那么阿里在这个形势下需要做哪些储备呢？毋庸置疑，图像识别、三维感知与跟踪、人机交互和三维渲染是AR／VR 四个核心部分，从这些方面下功夫，在实战中做好技术积累，更好地实现新零售下的内容升级，为下一代的计算平台打基础。

1. 图像识别、三维感知与跟踪：AR目前主要还是利用自然特征识别。随着大数据的迅猛发展，深度学习技术越来越被众多公司采纳。Aipoly 是从视频中获取物体信息转换成语音说明的一款app，获得了CES2017 Innovation Awards，从中可以看到组委会对图像识别技术的期望。它利用了深度学习技术来训练识别模型，与拍立淘的区别是从视频中连续识别物体，并能转换成语音表达。
2. 人机交互：在人机交互中我更倾向于使用自然交互。我比较了语音识别、手势识别、头部和眼球跟踪等几种通用的自然交互方式，发现语音的输入是我们与设备交互最简单、最有效、最舒适的方式。在这里建议阿里更深入研究地购物场景的语音识别，培养用户使用语音的心智。同时，把语音识别模块移植到智能设备和手机应用中，支持集团内外的商业使用，形成类似Amazon Alex那样的生态链。
3. 自动建模：3D 商品模型数量固然重要，但是具有3D自动建模能力和内容制作的体系化才是更重要的。结合商品、场景和人物重建的不同特点，实现2D转3D和三维重建技术的突破，形成适合商业化运作的产品体系，提供商家制作3D手段，加速商品内容升级。
4. 共建和合力：大家都看到力AR的作用和价值，集团很多BU都成立了AR实验室，百度也成立了AR Lab。而GM Lab 从事VR/AR研发已经很久，并成功实现了buy+ 和AR 捉猫猫等多种案例，这个时候与各个部门的AR 实验室共建，把我们的平台和经验分享出去，促成集团使用统一的接口和建模标准，推动集团相关技术和标准的对外输出。

主流的深度学习框架有Tensorflow、Caffe、Convnet和CNTK等，我们比较了这几种深度学习框架，确定以Tensorflow 为基础训练，发展可运行在移动端的深度学习模型。不过，深度学习不可能是一招鲜，吃遍天，需要把自然特征识别与深度学习有机结合起来使用。

集团很多BU在深度学习有深入地研究，淘宝通过各种营销和商品推广的实际项目推动和实现了在AR级别上的即时定位与地图重建的算法产品化，如果这两方面很好地结合，进一步提升识别的准确性和跟踪的稳定性，在AR底层的图像识别、三维感知与跟踪技术上形成阿里的核心竞争力。