VR动画到底该怎么做？Pinta Studios分享了VR视听语言的经验 | Unite 2017

“VR 不是创造新的故事，而是讲故事的新方式。”在 Unite 2017 大会的案例分享最后，平塔工作室（Pinta Studios）的 COO 米粒这样说道。

平塔工作室是一家专注于 CG VR 内容制作的公司，去年 7 月成立，三位联合创始人其中 CEO 雷峥蒙此前是阿里数娱的高级运营专家，COO 米粒曾是《大圣归来》的执行导演，上一部 VR 动画作品《再见，表情》受到业内好评，CMO 啊呸则在腾讯和阿里巴巴有超过十年的工作经验。雷锋网当时前往拜访时，新的 VR 作品《拾梦老人》还在筹备中，而今年的 Unite 大会上，他们将这部作品带到了现场。

《拾梦老人》总共时长 11 分钟，讲述了一位捡垃圾的老人和他所养的小狗，在巨大的垃圾场中寻找人们丢弃的梦想的故事。由于他们将作品拿到国外参加电影节，现场雷锋网(公众号：雷锋网)只体验到了两个没有具体情节的小片段。一个片段是老人捡到一把破旧不堪的吉他，回到家里修理后变得焕然一新。另一个片段呈现的则是春夏秋冬四季里，老人与小狗相伴的场景。

米粒表示，《拾荒老人》最主要的还是视听语言上的探索。

“技术上有 70%~60% 是不一样的，《拾荒老人》游戏引擎创作工作，《再见，表情》还是传统动画电影制作，最后我们渲染成一个全景的视频而已。而使用游戏引擎制作时，我们在数字资产的准备和制作过程中，实标准和流程都有挺大的不同。我们积累下来的更多是 VR 视听语言的经验，比如 VR 相机的运动，如何引导观众等等。在剧情上，其实 VR 还在往前走，希望讲更多类型的故事，而不是大家告诉你 VR 只能将这样的故事。我们的目标是能突破这个类型的限制。”

米粒还谈到新作品制作时，遇到的一些困难，其中有一点是对时间变换的控制。

“VR 动画作品讲的是小时间段里发生小的情节剧，我们讲的是一年之内初年秋冬的变化，在剧本创作时我们面临最大的挑战是如何用视觉的方式，展现出时间的流失，同时还能有一定的趣味性，因为没办法用剪辑的方式把它切的特别碎。这个算是挺大的挑战。”

尽管《拾梦老人》是他们的第一部 VR 交互动画短片，但他们透露实际作品中的交互是很弱的，也是米粒比较纠结的地方。因为，一方面他们想在首部作品中体现自己的优势，“讲一个完整流畅的故事”，并没有花太多精力的交互上，而是想让观众能跟随角色，理解背后的寓意。另一方面，雷峥蒙认为，交互会影响观众的注意力，甚至或错过故事的主要剧情，这会“得不偿失”。未来，在交互方面，他们还会继续尝试。

Unite 大会的案例分享专场上，米粒从实际操作层面详细地分享了他们对 VR 视听语言的探索。以下雷锋网对其分享内容做了整理。

米粒首先谈到了传统影视视听语言的三个要素：图像、声音和剪辑。

图像是视听语言最基础的要素，也是我们人类最重要的感官。图像视听语言里面有几个要素，形状是视觉第一层信息，接下来是颜色，在形状和颜色的基础上，物体发生运动后，组成了我们看到的影响。

其次，声音。听觉占了我们现代人所有观看影视作品中非常大一部分，影视作品特别是在有了音乐、声音之后，它的质量会提升70%，而且声音可以加强情绪的感染力。

最后是剪辑。剪辑是声音和图像的加成，最重要的是，它在控制时间，只有图像和声音是没有时间概念的。

而在 VR 里面，这些要素发生了非常大的变化。

VR 是一个完全虚拟的数字世界，而我们传统的影视作品是一个平面的，是一个二维图像连续播放的产生效果。在 VR 影视作品中，情节是通过探索展开的，这也是很多 VR 作品在创作的时候，想要达到的目标。

传统影视作品里，事情的发展是线性的，按照导演和剪辑师通过主观拼接单向展现给观众，这也是他们非常大的区别。VR 世界里，观众有非常自由活动的空间，可以在空间里面走来走去，这也是我们常常说的真正虚拟现实，并不是 360 度视频模拟的全景 2D 图像。

同时，考虑到剧本和故事，我们选择线性的方法，而不是像很多 VR 影视团队想要尝试多线叙事。也因为在线性的叙事结构下，更容易让观众获取到作品想表达的含义。如何在线性叙事中，让观众有更多丰富的体验，是作品想要探索的。

图像方面的探索

创造 VR 作品之前，我们面临很大的观看成本。其中包括购买一台性能强大的主机、VR 头显，还有很重要的支出是注意力和心理支出。所以，当戴上头显后，首要目的是不能让观众在作品为播放完时，就取下头显。这就要解决眩晕的问题。

于是，他们使用固定镜头，而不是让观众被动的接受位移。因为这样的话，就会产生眩晕的感觉。当然也有些摄像机的运动可以避免这个，尽量让观众在一个固定点观看这个故事。

影视制作时有分镜，会先用二维的方式把整部影片先画一遍，通过剪辑将故事串起来。在故事版和分镜阶段的时候，叙事非常流畅，而一旦进入VR，所有事情都变得节奏很赶。所以在 VR 里，对时间变化非常敏感。因为我们已经认为我们是在一个真实的世界里面，我们当时做的一个非常大的调整，我们在很多表演节奏点上增加的时长，带来的结果，当然是我们整个片子的时间变长了。

引导观众视线的方法：物体运动、声音、色彩

接下来是，如何引导观众看我们希望他看的内容。

有一种理论，我们在 VR里面，观众可以想看什么就看什么，而不是看导演希望他看的什么。我们作为创作者来说，更多是 VR 观众只能看我们希望给他看的，因为360 度所有资产都是我们创作的。不像在电影院里面，我看电影还可以看旁边吃爆米花的美女，没有人告诉我进入电影院必须看正前方。

第一，加强影片开始时，那段没有情节时候的时长；

第二，这段时长过去之后，引导观众看我们希望他看的内容。引导最重要的就是要有人导，比如说我们去一个景点跟着导游走，我们需要一个像导游一样东西带着他看我们希望他看的内容，最简单就是运动的物体。在拾梦老人里面有一个片段，在漆黑环境当中出现了雪花，我们跟着雪花运动轨迹到了一个地方，到了这个地方周围亮起来，我们看到一个老头在桌子清理脏兮兮的足球。

除了运动的物体之外，我们还要用灯光，光也是一个非常重要的引导视线。我们肯定会本能看灯光的位置，不看黑暗的位置，有灯光位置信息更多，也是一个非常好的引导工具。

另外一个就是声音，一般来说这三样东西我们是综合在同一个场景里面使用的，他们互相的叠加，可以保证我们最大可能性让观众看我们希望他看的内容。

比如这个片段里面，在这个角落里面亮起了一盏灯，观众会很好奇，是不是老头要做什么事情，注意力会回到主角的身上去。大家可以靠小房间里面吸引观众元素非常多，任何一个小道具，我们都有设计，有很多童年的回忆，或者生活中的经历。这个时候必须利用我们刚刚运动的物体、灯光和声音，将观众视野重新吸引过来。

还有是色彩，传统上色彩是非常重要的用来表现情绪的点。在一部电影里面，我们倾向于用纯度更高的色彩，表现更活泼、更正向的情绪，用纯度比较低的色彩来表现稍微负面的情绪，可能用略微发绿的色彩，去表现危机，用发蓝的表现悬疑等等。

在 VR 里面，我们尝试使用，但是用的比较谨慎。《拾梦老人》里面只有一个小情节使用到这个点。色彩为什么在 VR 里面我们用的非常少，因为观众在 VR 环境里面已经相信自己是处于真实的世界。我们看真实世界的时候，我们不会感觉色彩那么厚处理的感觉，如果有那种变化的时候，观众会稍微有些奇怪，会突然在那个瞬间想，为什么颜色出现了变化，这是我们在真实生活中很难体验到的感觉。

引导不成功，怎么办？

但有些情况下，我们发现声音和运动的物体都没有办法引导观众，特别是当场景非常嘈杂，或者信息非常大的时候，这种情况下如何进一步引导观众呢？

这时，我们要从传统电影经验中寻找灵感。我们发现除了电影还有舞台剧，在舞台表演的时候，我们有什么办法引导观众，舞台剧跟 VR 有一定类似情况，也是将所有信息放到观众正前方，观众看哪个部分也是需要导演引导。

在舞台剧和电影里面，我们经常用探照灯照亮观众希望看的位置，这个又跟灯光不太一样。如果是在白天大太阳晴朗的一天，我们没有办法在这个环境当中还打一盏灯帮助观众理解，这是不现实的。我们想起一种方法，用这种思路，创作一种新的方式来引导观众，我们自己称它为 Spotlight Scope，通过这种方式带约束观众的注意力。

在影片开头的时候，同样是漆黑的一片，为了让观众快速找到我们希望他看的位置，我们用一个逐渐扩展开的可视范围，它并不是灯光，仅仅是球形的范围，这个形状可以自定义，可视范围有模糊的边缘，我们有几个参数可以调整，可以模拟出各种各样丰富的视觉展开方式。

但是它不能是灯光，仅仅是可见范围，我们在 Unity 也是下了一定工作量的开发成本，想如何实现这个功能。我们在动画电影行业过来，在我们的经验里面，希望在引擎中实现这个效果。而且这个 Scope 不单单用来吸引观众注意力，后面还有一个比较有趣的。

声音的探索

声音在 VR 和电影里面完全是两个方向，在游戏和电影我们尽量控制声音的诞生，是一个从中间点往右走，会趋向于100%控制声音的发声，控制声音的产生，控制声音的发展。在 VR 这个角度来说，我们是往另一个方向走，希望100%声学还原。电影里面非常多主观夸张了某些音效，让我们在电影院感觉到了更动态，更影视感的体验。在 VR 应用，我们在这个场景里面希望观众接受一个更可信的声音，这个往精准方向去走。

在制作过程中，我们发现另外一个问题。因为我们是创作影视作品，这个时候我们尝试在 VR 环境中，用非常全逆真方式去模仿声音，在真实世界中，很难用真实声音和图像跟观众产生情感连接。

为什么电影我们要用控制方法来创作，因为我们可以更精准控制观众的情绪。表现一个人紧张的时候，相当于在夸张他心跳的声音，让观众能够听到心跳的声音，但我们真实世界不可能产生这种感觉。你再紧张，我也不可能听见你心跳声，这是一种主观的处理。

最终我们发现在 VR 影视作品中，虽然有 VR，但是还只能用影视创作手法才能在声音上获得更多跟观众交流的机会，我们还是引用了电影级别的声音制作和混音，这样可以最大限度控制声音的感染力。

我们在引擎里面通过一些数据的算法，引擎之外通过混音做出了声音的远近，非常精准在各种环境中声音的表现，在一个可乐瓶子里面声音是怎么表现的，在水泥墙后面声音是怎么样，我们用电影已经非常成熟的声音处理方法，获得了非常好的音效。

但是我们发现引擎本身有空间感，也就是说，即使混的非常好的远近感，我们还是要把声音挂到真实物体上，这样才能跟观众情感产生关联，我们最终想到可替代的方案，通过数学跟运动物体夹角方式，将声源挂到不同角色身上。

之后又引入了配乐，因为影视作品配乐是非常重要的一环，音乐是我们人非常强大的烘托我们情感的。很多的影视作品都是利用音乐的特性，让观众落泪或者欢笑。

但我们面临另外一个问题，我们的声音已经有真实的空间感了，那音乐呢？我们有尝试将音乐的发声音源放到场景里面，观众听到不同乐器音量的变化，他会有一个非常强烈的感觉，演奏人也在他身边，但是视觉上没有这样的元素，我们发现音乐没有必要在空间感有交互。音乐最终的表现就是单纯的立体声，而且跟头部的旋转没有关系。

剪辑的探索

在座长时间做 VR 的人知道，剪辑在 VR 里面大打折扣，也是努力在解决的问题，剪辑到底如何在VR里面进行呢？

场景转换是个大问题

在 VR 里面，我们遇到的问题就是没有镜头，没有了景别，观众只能从一个景别看事物，所有眼前物体景别的变化，都是靠角色的调度走到面前变大，远离你就变小了。另外是没有了镜头，我们最大的问题是情景如何展开。

遇到另外一个比较大的问题，多场景的转换，我们片段展现了两个场景，但是我们的电影有八场戏，四个大场景，需要在这么复杂的情景里面进行场景的转换，如何转换呢。

淡入淡出

经过一系列实验之后，发现最有效就是淡入淡出，这是一个非常直白和粗暴的方式。可能大家会很失望，原来你们搞了半天，场景的变化就是淡入淡出。但是淡入淡出也是很有讲究的，而且淡入淡出只能解决其中80%的情况。淡入淡出另外一个非常大的劣势，很多时候我们发现，每个场景里都通过淡入淡出的时候，相当无聊，没有技巧性。我们就思考我们到底如何解决这个问题。

反向使用 Spotlight Scope

我们利用了开发的工具，Spotlight Scope 反向的使用，达到了另外的效果。以拾梦老人另外一个片段为例。简单的说明，通过 Spotlight Scope 的放大，来展现出一个场景，通过它的缩小，来消灭周围的场景。我为什么不利用它缩小放大这个连续过程来切换场景呢。我们通过缩小的过程中，让周围的场景都消失，当它再放大的时候，我们已经换了场景了。这个过程当中，我们的主角，希望连续的角色是连续的，主角就是这个老头和小狗，缩小的时候室外景消失了，等这个 Spotlight Scope 再放大的时候，已经是室内景了，老头面前出现了桌子，出现了椅子。通过这种方式，我们实现了一种叠加的转场。

我们还希望尝试一种方向，我不知道在座有多少看过《飞屋环游记》，里面有一个非常有趣的镜头，当它的男主人公妻子去世之后，有一个镜头他坐在教堂里面，他一边转身回家，一边场景淡出淡入换了一个场景。我们希望在VR也做到这个场景，但是我们发现工作量特别大，很多精力放在一些其他的创作上面，希望随时能够当整个场景透明掉，淡入到另外的场景。

我们遇到几个技术难题：

第一，我们需要控制场景内几百个透明物体透明度同时变化，

第二，因为它本身就是三维物体的变淡，而不是我们电影里面二维图像的淡出。这个时候中间有一个过程，我们看到很多物体作为半透明的重叠状，像X光看出去一样，效果非常糟糕，所以我们用 Spotlight Scope 的方式切换了场景。

利用线性叙事的优势

另外一个非常重要的，我们说要线性，如果你在 VR 场景里面使用线性表现故事的话，似乎没有利用到这个媒体的优势。我们把情节分成重要和次要，这个次要情节点不影响观众理解故事，重要情节点我们希望观众一定要知道的。我们将次要情节点在不同方向发生，以不同角色引导开。

以这张图为主，角色 A 和角色 B 可以选择跟着其中一个角色看他的表现，最终会回到情节 B，或者跟着另外一个角色。这个过程设计当中，我们设计了无关紧要的情节，这些情节我们故意让观众获取不同的信息，希望他看到东西的时候，让所有有吸引他注意力的东西都会聚到一个点去，这个时候我们情节依然可以非常流畅推动，观众依然可以获取到我们想表达的情节。也就是所谓的殊途同归。

在传统影视里面，最重要的是在对白戏中，有一个原则叫“180度原则”。在传统拍摄时候，如果我们拍两个人对白戏的话，这两个人角色在世界中创造出一条虚拟的线，这条线是我们摄像机不能跨越的线，实际上有很多跨越过去了。

这条线是非常重要的，我们可以看到这张图左下角这个位置，如果摄像机在这个位置拍摄的话，获取画面是这样的，如果摄像机在这个位置拍摄的话，获得画面是这样的。为什么这样拍摄，是因为我们希望在画面里面某一个角色始终属于画面的一侧。

这张图里面，男性角色始终在画面右侧、女性角色始终在画面左侧。如果在这个过程中，突然有一个镜头打到虚拟线另外一侧，我们可以看到另外一个画面，发现女性角色变到画面右侧，这个时候我们发现两个同向角色在聊天，而不是两个向对的角色。这个会让剧情的理解产生歧异，视觉系统和大脑太发达了，人类获取到一点错误信息就会产生错误的理解。

这个东西我们如何解决呢？

在《拾梦老人》里我们有一个解决的方案，以室内室外景为例，有一个初始摄像机的区域。如果第一场戏发生在室内，第二场戏发生在室外。第一场戏结束的时候，如果观众还在这条线的左侧，到下一个场景摄像机的初始位置依然在这个方向。因为 VR 的世界非常大，特别在外部大环境里面，很有可能有观众走到角色另外一侧，这个时候系统会侦测到越轴的情况。

下一个场景我们会有另外一个摄像机，让观众在那个位置，我们依然在同一方向观测主角的表演。这样会让观众尽量在一个较小夹角里面看到尽量多的内容，可以避免有些情节发生在背后，而且我们不知道观众看的什么方向，所以我们没有办法控制这种转向。VR 里面我们有相应的触发条件，让观众始终跟得上这个角色的表演。

VR 没有创造新故事

虽然我们 VR 作为一个新媒体，所谓的技术实际上一点都不高深。视听语言的探索是一个不那么多数字，更多是主观经验的内容，所谓工具技术都不是一个影视作品的核心，影视作品核心是通过这些技术与观众产生情感的连接。整体的这一切，我们都是希望能够去让影视作品中的角色，影视作品中的剧情和观看者产生情感上连接，让你非常好奇这个角色为什么这么做，如果是可怜的角色会让你同情他，所有视听语言都是为了保证情感连接不被打断。

VR 作为一个新的讲故事媒介，它没有创造什么新故事，新故事在任何媒介中都在不停被创造。目前为止，我们并没有看到一个VR作品中创造出一个新的故事，而是创造一种新的讲故事方法。

因为它是新媒介，所有的Rule都可以被打破，我们不要受到Rule的限制。我们的原则是我们不会在创造Rule 的初期，先列举了 Rule。我们希望讲一个打动人心的故事，不管是不是适合 VR 创造，我们需要先构思这样的情节，最后我们想尽一切办法让它在 VR 当中呈现。这样才能推动 VR 的视觉语言，V R的发展，而不是说有一个人告诉我，你只能做这样的事情，因为 VR只有在这样的情况下才成立，我不信这个，我希望所有创造VR内容的人也不要受这个限制，而是创造新的 Rule，Rule 来指导以后的工作，而不是限制自己。

。