西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

最近光场相机领域动态频频,在前几天谷歌发布多个光场视频后,国内一家公司也拿出了他们的光流相机和支持6DoF的光场视频。

这家公司是杭州西顾视频科技有限公司(FXG-Video),成立于2017年5月,从事深度沉浸式内容与技术研发制作,有软硬件技术和解决方案,提供产品拍摄到内容后期制作与播放一体化流程服务。目前其已有3D VR和2D VR摄影机产品。

为了解其支持6DoF的3DVR摄影机,雷锋网特意与其CTO李文松进行了深入访谈。

西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

上图这台设备是其产品ET-2 3DVR摄影机,被称为"光流VR摄影机"。据介绍,这个相机的功能有:

·         支持超近距离(≤30CM)拍摄和完美拼接

·         可以捕获360度视频深度信息并提供六自由度(6DoF)追踪能力

·         八目间隔式摄像头阵列,单目 240度千万级像素镜头

·         光流技术,可以在重播时实现,改变位置、景深、子弹时间等特效

·         16K 3DVR电影级画质

·         全电子同步,一键开关机,一键拍摄

·         实时监看(VIVE/CV1)和直播

·         无线遥控

这个相机是一个圆柱型,上面是镜头,下面是主机。

由于现场条件不允许,雷锋网编辑没有直接体验到西顾的6DoF视频,从头显内录屏的视频看来,用户可以在其用相机拍摄的视频内移动,这个移动的范围有7-10cm。

(西顾6Dof视频体验Demo)

虽然没有体验到6DoF视频,但是雷锋网编辑体验了西顾高清3DVR视频。在数十个3DVR视频中,雷锋网(公众号:雷锋网)体验了其中的大部分内容:远程生日宴会、舞者、China Joy现场等。从体验来看,这些视频很清晰,色彩饱和,3D效果好,沉浸感不错。据称,西顾采用了自己研发播放器以及八面体投影格式来提高分辨率。

超近距离拍摄,缩短安全距离

令人印象深刻的是这些视频里,体验者与内容之间的距离可以靠的很近,不会发生内容的畸变和拼接错误,也就是他们强调的超近距离拍摄效果(≤30CM)。在远程生日宴会这个视频中,雷锋网编辑体验到了这种拍摄距离带来的好处。

西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

在戴上头显后,我出现在了美国的一个住宅中,环顾四周,有食物还有交谈的人群,这显然是一个小型私人派对现场。然后一个男人拿着鸡尾酒向我走近,对我说生日快乐,然后他旁边的人也开始靠过来,他一一介绍这些人给我认识,这些人也七嘴八舌对我说着生日祝福。我脑子里知道这是虚拟场景,但是可以真切地感受到现场氛围。我低下头,能看到桌子上的事物,每个人在我身边摩肩接踵。这些人最近的时候离我似乎只有一步路的距离,也就是平时亲密朋友交流时最短的距离,近处只有几十厘米甚至十几厘米。

超近的安全距离是西顾ET-2 3DVR摄影机的一大特色,从技术实现来说,这有什么价值呢?

我们都知道,全景相机采用多镜头(大于等于2)采集,再将采集到的画面通过算法进行拼接。而相机镜头之间光学节点不是重合的,这个距离被称为相机“节点距离”,距离越大,拍摄到的画面越容易产生畸变和拼接错误:远处物体会出现"重影"、近处的画面会产生缺失。

2D全景相机的节点问题解决比较简单,就是让镜头结构尽量紧凑,比如理光的双目折返式棱镜专利,李文松在几年前也研发了交错式背靠背镜头,用来解决2D相机距离的问题。

八目间隔式摄像头阵列,光流插值算法

但3DVR和6DoF相机的节点问题比2D要复杂许多,目前市面上的全景相机、光学相机都采用了不同的相机阵列。有Lytro Immerge这样像一堵墙的超大相机阵列方案、也有像谷歌展示的放在旋转台上的16个相机阵列。不同的相机阵列会产生截然不同的拍摄效果。

西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

(Lytro Immerge)

李文松介绍到,要理解西顾的八目间隔式摄像头阵列,需要理解一个概念,他称之为:视节比。也就是相机的立体视差距离和镜头节点距离的比例。因为全景相机是要模拟人的双眼成像,所以都会采用多个相机的模式,两个相机的距离被称为视点差。人的双眼是有瞳距的,视点差的最好距离是6-8cm,不能过小也不能过大。整体来说,相机的视差要接近人眼瞳距,同时镜头节点距离要尽可能小。

西顾视频推出可拍6DoF视频的光流相机,我们与CTO聊了聊

(西顾ET-2 3DVR摄影机)

他谈到几代3D VR相机在"视节比"上的发展,"第一代的3DVR相机把多组产生双目视差的左右镜头成对放置,然后将左右镜头各自拼接起来,这个时候相机的节点距离很大,且一定大于视差,所以视节比小于1。第二代的3D全景相机的一个镜头可以同时当作左右眼,然后再将不同相机的左右眼区域拼接起来,这时视点和节点是一样大的,例如谷歌JUMP、FB的Surround 360。李文松将西顾的光流VR相机采用的方法称之为第三代,他采用了间隔式的镜头拼接方法,可以选取间隔1-3个相机拍摄出的图像进行拼接,这样相机之间的节距可以非常紧凑,视差距离变大很多。视节比远远大于1,目前市面上仅有三星的Beyond相机视节比大于1约为1.2,而这台ET-2相机的视节比为 2.4。"

采用八个相机阵列和间隔式拼接法后,李文松解释到,他可以拼接出4-5个完整的全景画面,每个画面分辨率都达8K,而目前其他3DVR相机只能拼接出2个完整的全景画面,也就是说光流相机获得了更多的信息。为了解释这种间隔式拼接算法,李文松向雷锋网编辑演示了一个图形化小工具,在输入相机数量、镜头度数后可以计算出能得到多少个全景画面。

除此之外,拍摄过程中还用到了光流算法。李文松解释到,在相机拍摄之后,基于上述4-5个完整物理全景视图,可以用软件虚拟插值出上百个镜头视角(依赖计算速度),还原空间内全部光线。他们然后采用专门的MVS和Parallex插值算法获得比普通双目立体算法更为完整精确的多层6DoF深度信息。这样实现的6DoF视频可以完成传统光流相机所有功能(6DoF运动、重新对焦、自定义光圈), 但在存储格式远远小于Lytro和谷歌等那种基于物理多镜头矩阵的数据格式,只比普通3DVR视频增加2倍不到的数据带宽。西顾视频现在已经基于这种6DoF视频数据格式研发出了专用6DoF视频播放器,并在不远的未来可以实现6DoF VR视频直播。

(西顾VR8视频格式介绍)

6DoF视频的机遇与挑战

自2015年来,全景视频就是影视技术发展的一个重要趋势,其可以为VR提供沉浸式内容。全景视频的发展经历了三个阶段:2D全景、3D VR全景、6DoF全景。西顾视频目前主要专注于后两个阶段。

李文松谈到, 2017年多个支持6DoF的VR一体机发布并将在2018年上市,包括HTC Vive Focus、Pico Neo一体机等,而目前,6DoF的视频内容十分缺乏。电脑CG的方式相对昂贵,视频拍摄的方式可以让6DoF内容生产更快更便宜。目前6DoF视频技术现状,大致有由内向外(Lytro、谷歌、FB的方案)和由外向内(Intel的方案)这两类方案,西顾方案属于前者即由内向外,这种6DoF技术方案部署和拍摄容易,未来可以产生普通消费者生产内容(UGC)模式,而有外向内技术的6DoF技术必须搭建专用影棚,只能由专业团队制作(PGC),但移动自由度和精度更好,尤其适合拍摄人物角色。

当然,6Dof视频刚刚起步,未来也还有很多挑战。例如6Dof视频内可移动范围需要进一步扩大,用像谷歌、西顾这样的从里到外的拍摄方法产生的6Dof视频,目前可移动范围都有限。如果可移动范围足够大,视频内的运动不仅可以提升沉浸感,还可以在实际拍摄的场景里设计交互,发展为虚拟与真实融合的游戏。

相关文章:

Magic Leap、Lytro宣称的“光场”到底是个什么鬼?

Lytro 公开 Immerge 2.0 光场相机:效率、画质大跃进

详解谷歌最新光场视频,体验VR头显里的光场世界

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/92126.html

(0)
上一篇 2021年8月15日 01:49
下一篇 2021年8月15日 01:49

相关推荐

发表回复

登录后才能评论