Magic Leap整个AR项目都可能是个骗局？听大牛怎么说 | 雷锋网公开课

嘉宾介绍: 聂崇岭，进化动力CTO。曾任职于瑞士Enclustra设计咨询公司，专注于机器学习、高性能异构计算系统，曾参与多项Credit Suisse、ABB、Siemens、Roche等跨国公司技术研发项目；硕士毕业于瑞士苏黎世联邦理工大学（ETH Zurich），师从ACM和IEEE Fellow, Gustavo Alonso教授。雷锋网(公众号：雷锋网)

今天Magic Leap发布全新“水母版”Demo 演示，让一些AR癌患者又开始欲罢不能了，这么“黑”的黑科技，会成为下一个Google Glass还是全新的AR涅槃者，任我们怎么骚扰Rony Abovitz他也不告诉我，但不能阻止我大天朝人民的好奇心啊， 所以聂崇岭大牛隆重登场，为我们解读他眼里的Magic Leap，下面开始进入干货时间（此处应有掌声~）雷锋网雷锋网

天啦噜 ！为何总发demo视频

这个问题我们和团队成员讨论过，我们认为可能有以下几个点：

其一，Demo演示机器体积过大，这个通过外媒拍摄的照片也一定程度上得到了验证；
其二，原型机必定操作繁琐；
其三，拍摄Demo视频，对周围环境要求严格；
其四，效果不稳定和系统鲁棒性上 可能还有不足，导致不能直接进入；

最后没有做过产品化的准备，如果放出操作机器演示的Demo，无疑会透露出以上各种弊端，极大的降低用户的预期，这可能不是Magic Leap想看到的。

（系统鲁棒性？）

是的。我们通过网上一些公开的信息和投资人的渠道了解过，Magic Leap的Demo是对拍摄房间提前做过建模的，但是依然有可能不能一次成功拍摄出理想效果的Demo视频，对视频中 Magic Leap设备定位的精度，房间3D模型构建的精度 都是影响系统鲁棒性的因素，系统能否适应各种不同的应用场景都是系统鲁棒性的体现，具体到现在ML的两次Demo视频来看，场景主要是室内，光线温和不明亮的场景。

在技术上有何创新

首先谈显示技术上的创新

（从Magic Leap的技术演示视频中，除了演示收到信息后，在桌子上加载珠穆朗玛峰的全息信息图，还展示了如何购物,水母漂浮等效果。这些效果相比之前的demo哪里惊艳了？）

这个是ML的第一个Demo视频，我先讨论这个视频有哪些惊艳之处，之后对比第二个Demo视频来看有哪些进步。

第一个Demo视频中，一个小机器人从办公桌下面弹跳亮相，之后随着摄影机视角的变化，机器人被办公桌腿所遮挡，这里已经有了一个关键技术，就是对物体（机器人）在空间的定位和空间周围深度信息（桌子腿）的感知。

这是第二个Demo视频，在这个Demo视频中， 我们看到ML在桌子上加载了珠穆朗玛峰的全息信息图，在这里，我认为ML做了相对于第一个Demo更复杂的处理，就是要检测出桌子的整个平面，之后把珠峰的全息图放在这个桌面上。

（如何比第一个Demo更复杂？）

虽然它们都是提取深度，珠峰的全息图像有个更动态的变化，这里要时刻保持全息图像和桌子平面的相对关系。

最后一个水母漂浮的场景，我认为这是一个比较大的突破，这里摄影机的视角（ML的设备）和 水母本身都在移动，ML的算法能够在计算自身位置的同时，计算水母群在空间中的位置，同时计算出两者直接的关系，再把水母群投影回摄影机（ML设备）视角，这个相对于之前只有摄影机移动的Demo更近了一大步。

然后是计算机视觉的创新

“AR的真正核心竞争力并不在于其显示方式，而在于计算机视觉上。”这点我是同意的。

计算机视觉的创新点，说实话，我并没有找到ML在CV领域的重大创新。它更像是一个显示技术创新公司，这种创新的显示技术可能可以把AR的用户体验带上一个新的层次，Magic Leap Demo视频中所展示的出的CV技术，在Microsoft RESEARCH, Google等公司，已经SIGGRAPH等顶级会议上都可以看到，Magic Leap做的好是 把这个前沿的CV技术和自家创新的显示技术融合进了AR的应用，给大家展示出了Demo。

是说它的进步 在计算机视觉上还停留在光场技术阶段（非数字全息技术阶段）；上面所提的demo各种具体的牛掰技术主要是自家创新的显示技术的进步？

技术本事很牛是真的，包括CV和显示技术，CV上的也就是计算机视觉上的 重大创新点没有看到，（因为）CV的技术进步一向是整个行业的共同进步。

那张光场光子芯片为什么是透明的？

恩，这里我们看到的“芯片”跟我们所说的芯片不太一样，它是一种基于MEMS微机电的镜片或者叫显示器，里面有许多可以被控制的开关，控制镜片上每个像素点的光路，整合起来就是一个光路组成的3D Array，类似于下面的这张图：

每一个点的光路都可以被单独控制，这也就是这个“芯片”的功能。

（那除了这个， 剩下的还要搭配什么别的芯片一起工作？）

镜片/芯片上的图像可以是透过镜片来自于真实世界，也可以是通过镜片/芯片边缘的接口来自ML的projector，这个芯片负责的主要是显示，AR中的计算机视觉计算工作 并不在这个片上完成。

整个AR项目都可能是个骗局？

我并不认为这个是一个骗局，首先我们要说的是AR本身肯定不是一个骗局，如Microsoft Google FB等大公司在这方面都有技术研究。从ML放出的各个Demo来看，这家公司也是有着深厚的技术积累在的，ML在一些早期的Demo中加入了需要酷炫CG效果，ML在一些早期的Demo中加入了需要酷炫CG效果，后续正式设备所拍摄的效果没有CG版本的更黑科技，大家心理上有个期望的落差，这个可以理解，AR的相关技术现在处于一个相对早期的阶段，肯定还有不尽如人意的地方在，这也正是为什么我们看到ML的最新Demo没有最早CG版本的炫酷了，不过这更能体现出ML技术的真实，不是一个CG骗局。

（恩，如果有人说因为有了Google Glass的前车之鉴，所以大家对这个有了骗局的担忧，怎么看这个问题？）

技术的进步和迭代就是这样，我们不可能要求一个新兴领域在早期能够直接产出完美的产品，比如在胶片照片机盛行的年代，谁也无法通过第一代CCD Sensor的规格想到  数码相机会成为主流。

跟其它产品的区别

首先，解决HoloLens视野太小的问题没？

我认为现在提及Magic Leap的FOV，以及和Microsoft的Hololens对比FOV，还为时尚早； 一款原型机在便携性上还没解决，FOV可能没有用武之地，但是根据Magic Leap的显示原理，理论上是可以克服这个问题，实现更大的FOV，甚至光场的显示，这不是Magic Leap产品化路上的最大障碍，大家如果对Magic Leap的显示技术原理感兴趣，可以是参考一下Magic Leap Inc.最近几年申请的专利_US20140003762 Patent 有兴趣的朋友 可以看看，上面有细致的描述，ML在显示技术上做了哪些尝试有哪些突破。

Magic Leap与HoloLens的区别在哪里？

大家都是AR的设备，Hololens已经放出了开发者套件，接近大规模量产。而Magic Leap还是处于一个原型机都很神秘的阶段，从他们背后使用的计算机视觉技术来看，是相通的，大家使用了类似的技术，深度提取，SLAM, 3D重构，Object Tracking等等。

不同点在 大家的显示技术不同， Hololens使用的是类似于Google Glasses的显示技术，而ML，前面已经提到，使用的是一种全新的显示技术。

Hololens着重的是当下，ML更像是在为未来打造一款设备，当时Hololens里面也是有很多高科技在的，我们知道Hololens的硬件是使用了Intel Atom的CPU，是微软最熟悉的X86构架，和一个定制 holographic processing unit (HPU)。操作系统的还是使用Windows的Kernel，基于Hololens和Microsoft Research的CV预研技术，也有发布出“黑科技”Demo，Holoportation。

Magic Leap与Meta Glass的区别在哪里？

Meta Glass这款产品 我不是特别了解，只是看了TED上的介绍和Demo演示，它和Hololens是形态及其相似的设备，Demo上也体现出了SLAM，tracking等CV技术，但是并没有体现出Meta的方案是否有3D重构技术，这里打一个问号，我把它理解成一个功能和配置都缩减了的Hololens。

（好的，分享已完，谢谢各位！）

。