西顾视频推出可拍6DoF视频的光流相机，我们与CTO聊了聊

最近光场相机领域动态频频，在前几天谷歌发布多个光场视频后，国内一家公司也拿出了他们的光流相机和支持6DoF的光场视频。

这家公司是杭州西顾视频科技有限公司（FXG-Video），成立于2017年5月，从事深度沉浸式内容与技术研发制作，有软硬件技术和解决方案，提供产品拍摄到内容后期制作与播放一体化流程服务。目前其已有3D VR和2D VR摄影机产品。

为了解其支持6DoF的3DVR摄影机，雷锋网特意与其CTO李文松进行了深入访谈。

上图这台设备是其产品ET-2 3DVR摄影机，被称为"光流VR摄影机"。据介绍，这个相机的功能有：

·         支持超近距离（≤30CM）拍摄和完美拼接

·         可以捕获360度视频深度信息并提供六自由度（6DoF）追踪能力

·         八目间隔式摄像头阵列，单目 240度千万级像素镜头

·         光流技术，可以在重播时实现，改变位置、景深、子弹时间等特效

·         16K 3DVR电影级画质

·         全电子同步，一键开关机，一键拍摄

·         实时监看（VIVE/CV1）和直播

·         无线遥控

这个相机是一个圆柱型，上面是镜头，下面是主机。

由于现场条件不允许，雷锋网编辑没有直接体验到西顾的6DoF视频，从头显内录屏的视频看来，用户可以在其用相机拍摄的视频内移动，这个移动的范围有7-10cm。

（西顾6Dof视频体验Demo）

虽然没有体验到6DoF视频，但是雷锋网编辑体验了西顾高清3DVR视频。在数十个3DVR视频中，雷锋网(公众号：雷锋网)体验了其中的大部分内容：远程生日宴会、舞者、China Joy现场等。从体验来看，这些视频很清晰，色彩饱和，3D效果好，沉浸感不错。据称，西顾采用了自己研发播放器以及八面体投影格式来提高分辨率。

超近距离拍摄，缩短安全距离

令人印象深刻的是这些视频里，体验者与内容之间的距离可以靠的很近，不会发生内容的畸变和拼接错误，也就是他们强调的超近距离拍摄效果（≤30CM）。在远程生日宴会这个视频中，雷锋网编辑体验到了这种拍摄距离带来的好处。

在戴上头显后，我出现在了美国的一个住宅中，环顾四周，有食物还有交谈的人群，这显然是一个小型私人派对现场。然后一个男人拿着鸡尾酒向我走近，对我说生日快乐，然后他旁边的人也开始靠过来，他一一介绍这些人给我认识，这些人也七嘴八舌对我说着生日祝福。我脑子里知道这是虚拟场景，但是可以真切地感受到现场氛围。我低下头，能看到桌子上的事物，每个人在我身边摩肩接踵。这些人最近的时候离我似乎只有一步路的距离，也就是平时亲密朋友交流时最短的距离，近处只有几十厘米甚至十几厘米。

超近的安全距离是西顾ET-2 3DVR摄影机的一大特色，从技术实现来说，这有什么价值呢？

我们都知道，全景相机采用多镜头（大于等于2）采集，再将采集到的画面通过算法进行拼接。而相机镜头之间光学节点不是重合的，这个距离被称为相机“节点距离”，距离越大，拍摄到的画面越容易产生畸变和拼接错误：远处物体会出现"重影"、近处的画面会产生缺失。

2D全景相机的节点问题解决比较简单，就是让镜头结构尽量紧凑，比如理光的双目折返式棱镜专利，李文松在几年前也研发了交错式背靠背镜头，用来解决2D相机距离的问题。

八目间隔式摄像头阵列，光流插值算法

但3DVR和6DoF相机的节点问题比2D要复杂许多，目前市面上的全景相机、光学相机都采用了不同的相机阵列。有Lytro Immerge这样像一堵墙的超大相机阵列方案、也有像谷歌展示的放在旋转台上的16个相机阵列。不同的相机阵列会产生截然不同的拍摄效果。

(Lytro Immerge)

李文松介绍到，要理解西顾的八目间隔式摄像头阵列，需要理解一个概念，他称之为：视节比。也就是相机的立体视差距离和镜头节点距离的比例。因为全景相机是要模拟人的双眼成像，所以都会采用多个相机的模式，两个相机的距离被称为视点差。人的双眼是有瞳距的，视点差的最好距离是6-8cm，不能过小也不能过大。整体来说，相机的视差要接近人眼瞳距，同时镜头节点距离要尽可能小。

(西顾ET-2 3DVR摄影机）

他谈到几代3D VR相机在"视节比"上的发展，"第一代的3DVR相机把多组产生双目视差的左右镜头成对放置，然后将左右镜头各自拼接起来，这个时候相机的节点距离很大，且一定大于视差，所以视节比小于1。第二代的3D全景相机的一个镜头可以同时当作左右眼，然后再将不同相机的左右眼区域拼接起来，这时视点和节点是一样大的，例如谷歌JUMP、FB的Surround 360。李文松将西顾的光流VR相机采用的方法称之为第三代，他采用了间隔式的镜头拼接方法，可以选取间隔1-3个相机拍摄出的图像进行拼接，这样相机之间的节距可以非常紧凑，视差距离变大很多。视节比远远大于1，目前市面上仅有三星的Beyond相机视节比大于1约为1.2，而这台ET-2相机的视节比为 2.4。"

采用八个相机阵列和间隔式拼接法后，李文松解释到，他可以拼接出4-5个完整的全景画面，每个画面分辨率都达8K，而目前其他3DVR相机只能拼接出2个完整的全景画面，也就是说光流相机获得了更多的信息。为了解释这种间隔式拼接算法，李文松向雷锋网编辑演示了一个图形化小工具，在输入相机数量、镜头度数后可以计算出能得到多少个全景画面。

除此之外，拍摄过程中还用到了光流算法。李文松解释到，在相机拍摄之后，基于上述4-5个完整物理全景视图，可以用软件虚拟插值出上百个镜头视角（依赖计算速度），还原空间内全部光线。他们然后采用专门的MVS和Parallex插值算法获得比普通双目立体算法更为完整精确的多层6DoF深度信息。这样实现的6DoF视频可以完成传统光流相机所有功能（6DoF运动、重新对焦、自定义光圈）， 但在存储格式远远小于Lytro和谷歌等那种基于物理多镜头矩阵的数据格式，只比普通3DVR视频增加2倍不到的数据带宽。西顾视频现在已经基于这种6DoF视频数据格式研发出了专用6DoF视频播放器，并在不远的未来可以实现6DoF VR视频直播。

（西顾VR8视频格式介绍）

6DoF视频的机遇与挑战

自2015年来，全景视频就是影视技术发展的一个重要趋势，其可以为VR提供沉浸式内容。全景视频的发展经历了三个阶段：2D全景、3D VR全景、6DoF全景。西顾视频目前主要专注于后两个阶段。

李文松谈到， 2017年多个支持6DoF的VR一体机发布并将在2018年上市，包括HTC Vive Focus、Pico Neo一体机等，而目前，6DoF的视频内容十分缺乏。电脑CG的方式相对昂贵，视频拍摄的方式可以让6DoF内容生产更快更便宜。目前6DoF视频技术现状，大致有由内向外（Lytro、谷歌、FB的方案）和由外向内（Intel的方案）这两类方案，西顾方案属于前者即由内向外，这种6DoF技术方案部署和拍摄容易，未来可以产生普通消费者生产内容（UGC）模式，而有外向内技术的6DoF技术必须搭建专用影棚，只能由专业团队制作（PGC），但移动自由度和精度更好，尤其适合拍摄人物角色。

当然，6Dof视频刚刚起步，未来也还有很多挑战。例如6Dof视频内可移动范围需要进一步扩大，用像谷歌、西顾这样的从里到外的拍摄方法产生的6Dof视频，目前可移动范围都有限。如果可移动范围足够大，视频内的运动不仅可以提升沉浸感，还可以在实际拍摄的场景里设计交互，发展为虚拟与真实融合的游戏。

相关文章：

Magic Leap、Lytro宣称的“光场”到底是个什么鬼？

Lytro 公开 Immerge 2.0 光场相机：效率、画质大跃进

详解谷歌最新光场视频，体验VR头显里的光场世界

。