上海科技大学曹煊博士：Magic Leap负责光场的显示输出，我们负责光场的采集输入

（Magic Leap AR大象）

雷锋网按：近日，AR创业公司Magic Leap又融资5亿美元的消息让业界不少人感到震惊。这家一直没有产品的神秘的公司一度被认为是骗子，但是其究竟是凭什么打动谷歌、阿里、淡马锡这些投资者？上海科技大学曹煊博士曾发文指出，Magic Leap的核心价值其实在光场显示技术。话题正热，我们不妨来看，光场技术究竟能为AR/VR带来什么？

VR的主要特色是身临其境，可以让我们足不出户就领略世界各地的奇妙景观，可以潜入深海近距离观看鲨鱼，可以漫步在沙漠的风暴中心，可以穿着观赏极寒之地的极光。

然而，在入秋的北京，雷锋网编辑最想看的不过是某个寺庙前满树金黄的古老银杏。捧一本书，坐在树下，就可以感受秋天的季候和植物之间的光影变化。

从各个不同的角度，去感受光的变化，影的变化。这是目前VR还不能做到的。

目前VR内容制作主要有相机采集和计算机模拟生成两种方法：相机采集的方法主要采用传统2D相机构成阵列进行环拍，例如Surround 360、Jump等360度全景相机；这种方式无法提供人眼需要的双目视差、移动视差和动态对焦。计算机模拟生成3D内容，虽然具有双目视差、移动视差和动态对焦，但却缺少如同真实世界中的准确几何信息和光影效果。只有同时达到了两方面的视觉效果，才能实现人眼无法分辨的自然而真实的视觉体验。

而光场技术就是其中的核心，也成为了国际上竞相角逐的技术制高点。

9月27日，在北航召开的“三维显示技术与产业发展高峰论坛”上，上海科技大学虚拟现实与视觉计算中心（VRVC)曹煊博士分享了他和虞晶怡教授正在从事的“虚拟现实与光场采集技术”。

曹煊在为什么要做光场、如何采集光场以及光场技术的未来发展等方面做出了详细介绍。

 为什么VR/AR需要光场技术？

首先，他回答的问题是：为什么我们要做光场？“做光场最主要的原因就是我们人的眼睛对于视觉非常的挑剔。我们人眼看三维世界有心理上的暗示， 比如近大远小，遮挡、阴影、光照、经验先验知识等等这样一些心理方面。但是这不是主要的，更为主要的是生理上的深度信息，包括：双目视差、双目汇聚、移动视差和聚焦模糊。人就是依靠这四个方面（双目视差、双目汇聚、移动视差和聚焦模糊）来感知到三维环境。”

目前的3D电影实际上只做到了双目视差。通过为两眼提供不同的图像，来塑造立体感。与3D电影相比，VR增加了移动视差。曹煊举例说，看3D电影的时候，坐在左侧的观众和坐在右侧的观众，戴上3D眼睛看到的3D内容是一样的，实际上这是不正确的。因为如果说这是一个三维的物体的话，那么右侧的观众应该看到我的右脸，而左侧的观众看到我的左脸。但实际上你去电影院看电影的时候，无论你坐在左侧还是右侧，你看到的都是男主角的正脸，而不会因为你坐到不同的位置，移动到不同的位置，而看到不同的图像。

VR有了双目视差和移动视差，但是还缺少聚焦模糊。我们人眼在看VR的时候，因为有双目视差，左眼和右眼能看到不一样的图像产生三维视觉。但是VR的头显里面永远都是静态的、固定距离的一层屏幕在那儿显示，我的眼睛的睫状肌不能跟随三维物体来回地前后聚焦，这会导致人眼在一定程度上失焦，使得双眼十分疲劳。同时，眼镜聚焦的位置和我看到三维物体的位置又产生了冲突，大脑就会反应不过来，它不知道你到底告诉它看近处还是看远处，这也会加重VR眩晕症。

而解决办法就是让VR眼镜能够同时显示不同距离上的多层图像，当层数足够多的时候，当你的离散程度达到一定的密集程度以后，你就可以在很高的程度上去逼近这样连续的聚焦空间。如果我们的VR眼镜能够实现这样显示的效果的话，那么我们VR就基本上达到近似完美的显示技术。

但是这个问题并不简单。最核心的一个技术途径就是Magic Leap所号称的——光场技术。光场技术简单来说，就是一个物体的表面所发出的各向异性的光线。“大家今天能够看到我在这里做报告，并不是因为大家摸到了我，大家闻到了我，而是因为大家看到我表面任意一个点在各个方向上所发出不同的光线，我们叫各向异性的光线。”各向异性光线的结合就是光场。

要实现这样一个光场并不是那么简单。因为你既要显示，同时你还需要采集。Magic Leap做的事情是把这样一个高维度的光场信息显示出来，通过戴眼镜或者甚至不戴眼镜的技术途径把光场的信息全部都显示出来。而上海科技大学虚拟现实与视觉计算中心（VRVC）要做的是在能够显示之前首先能把这样光场的信息采集下来。因为如果不采集下来的话，裸眼三维或者是光场显示，实际上是巧妇难为无米之炊。

 光场采集如何做？

在解释清楚为什么光场技术是VR的核心技术，以及为什么要做光场采集后，接下来，曹煊介绍了光场采集的三个方向的技术平台。

第一方面，用相机阵列去模拟昆虫的复眼，从而实现动态聚焦的效果。比如通过一个正面相机可以聚焦在后面这个同学身上，也可以聚焦在中间的同学身上，也可以聚焦在近处的同学的脸上。这就是正面相机构成的复眼所实现的光场动态聚焦的功能。

第二套设备，是具有双目视差的全景相机。传统的全景相机，就等效为一个人用单个眼睛环绕360度的环境去看一周。但是把双目视差引入到了全景相机里面，人既能看到360度的图像，左眼和右眼也可以看到不一样的图像。这样，在看360度图像的同时，能够感知到同一个角度上物体远近位置的不同。

这个全景相机的平台还加入了语义感知。也就是智能拼接，在拼接360度的内容时，首先会把这个物象中的语义，也就是说这个物体是什么东西，比如说这是一个房子，这是一条河流，这是一棵树。这个语义感知出来的时候，在拼缝的时候就可以把有语义的主体绕开，能够避免这样一个主体被破坏。把这样一个全景相机和云端结合起来，从而形成了一整套这样采集、处理、显示完整的处理链路。

第三套设备，一个全方位的光场采集设备。实现了水平360度，垂直近似于360度，总共720度的光场的几乎无死角的采集。用这样的设备，能实现几乎是瞬间采集。就像单反拍照一样，一拍就能生成3D模型在建模的同时，除了利用传统的一些计算机视觉、计算机图像学的一些技术以外，还把人工智能的技术加进去了。因为没有办法用一个统一的数学模型能够把人眼成像的机理，能够清晰、完整、准确的建模建出来。那么我们采用了这样一个深度学习的方法，我们通过机器学习来模拟人眼的视觉感知能力。

此外，有了模型之后还需要与深度学习相结合。在有了模型之后，要让模型看起来真实，需要使得这个模型表面的点向各个方向发出的异性光，都要和真实的物体足够的接近、足够的逼真。人或者物品在三维环境当中与光线有了交互的关系，那么看上去就足够的逼真了。 

用深度学习的办法，把模型和采集到各向异性的光线的图片同时放到网络里面去，从而让网络或者是机器学习的办法来决定每一个像素的每一个方向应该发出什么样的光线，才能够使我们的眼睛看上去足够的逼真，满足我们挑剔的人眼。

上面这张图片有一个桌面，上面有一个台灯，有花，有一个唐三彩的马。这些物体都非常的逼真，但是实际上这个唐三彩的马在这个桌面上并不存在的，而是建完模型以后，用手机AR叠加上去的。整个马表面上的反光、高光的反射，还有它的这个阴影，还有互相遮挡的关系，都是可以用深度学习的办法，把它准确的算出来的。在一定程度上，可以说欺骗了大家挑剔的眼睛。

光场技术的未来应用

介绍完目前取得的进展后，曹煊也对光场技术的未来进行了展望。

首先，他认为可以把光场应用到智能视觉里面去。在未来，光场会取代我们2D图片变成一种全新的视觉输入语言。现在光场数据量很大，随着5G网络出现以及数据压缩技术进一步改进，还有量子计算机出现，光场技术就可以有广泛运用。例如，大家过安检的时候，可以用光场相机去识别人脸。传统相机会失焦，但是光场相机可以捕捉每一个人的脸，即使有人被遮挡。

其次，光场技术所要实现的目标是模糊虚拟和现实的边界。如果虚拟物体足够真实，那你也就无法区分。依靠这样的一个光场技术，那么你就可以在家里逛商场，逛美国的第五大道购物天堂。那么你可以去感受到这样一个逼真的LV包包的材质，它的反光，它的所有各个方面。我们期望建立这样一个高自动化、低干预度流水线的光场建模的平台。那么所有的物品经过这样流水线的处理，那么我们所有的这样现实生活中的物品都被我们用数字化的手段克隆到了我们三维世界当中去。

 小结

(Magic Leap镜片）

光场技术是支持VR/AR更逼近现实，模糊虚拟与现实分界的技术。Magic Leap的核心技术主要有三方面：(SLAM、CG、Light Filed)，光场技术更是其核心技术，这或许是其能总融资14亿美元，估值60亿的原因。在发表于中国电子报的文章《Magic Leap光场技术：是技术之跃，更是魔法之跃》这篇文章里，曹煊曾指出：Magic Leap 并没有宣称能实现裸眼3D，还是要靠镜片实现。Magic Leap称之为硅光电技术(Silicon Photonics)，极有可能是Silicon Waveguides技术，光学顶级期刊OE上有大量文章研究过该技术。以色列Lumus以及微软HoloLens采用的是光波导技术(Light Waveguides)，可以使显示器件更轻更薄，但只能为单眼投射单幅图像。而Magic Leap却称其采用的技术不仅能轻薄化，还能为单眼提供多幅不同聚焦的图片，从而实现光场显示。

Magic Leap光场显示技术还面临着光场数据量太大、光场计算量大、小型化便捷性等多个商业化难题。曹煊认为：“光场显示更依赖于特殊的显示器件(硬件)，而光场采集更依赖于算法(软件)。Magic Leap演示的所有Demo中，无论是机器人、太阳系、办公室的邮件等都是计算机渲染的光场，而没有采集真实场景的光场，可见Magic Leap现在还无暇顾及光场采集技术，亦或等待与其他光场采集技术团队合作。”

据雷锋网(公众号：雷锋网)了解，曹煊所在的上海科技大学虚拟现实与视觉计算中心（VRVC）由虞晶怡教授领导组建，该实验室致力于光场虚拟现实平台的研究和应用，以实现人眼无法分辨的虚拟现实为目标，从光场的捕获、压缩、处理、渲染和显示等方面开展基础理论研究与核心技术攻关，探索从微观尺度到宏观尺度的光场虚拟现实技术，将率先实现达到人眼分辨率的动态真实场景的360度3D全景实时采集、处理和远程重现技术，提供跨尺度、跨学科的通用光场技术平台。如果说Magic Leap的核心是光场的显示输出，VRVC专注的则是光场的采集输入。

。