让人人都可参与 3D 建模和特效制作——周昆丨微软亚洲研究院院友会

编者按：昨日，周昆教授在微软亚洲研究院院友会中，结合自己在该领域多年来的研究经验，提出计算机图形学 2.0 的概念，阐明了计算机图形学的用户从专业人员转变成了普通大众，即从 1.0 时代演化到 2.0 时代。然后，他从三个自身的研究案例：人物发型重建、人脸追踪与动画、计算制造（3D打印），诠释了 2.0 的概念。报告最后，周教授从三个方面总结了图形学的变化。

周昆教授，博士生导师，教育部长江学者特聘教授，国家杰出青年科学基金获得者，国际电气电子工程师协会会士（IEEE  Fellow）。2002 至 2008 年就职于微软亚洲研究院，2008年全职回到浙江大学工作。研究领域包括计算机图形学、人机交互、虚拟现实和并行计算。近年来在 ACM/IEEE  Transactions 上发表论文 70 余篇，获得美国发明专利 30 余项。。曾获得2010年中国计算机图形学杰出奖、2011 年中国青年科技奖、2011 年麻省理工学院《技术评论》全球杰出青年创新人物奖 （MIT  TR35  Award）、2013年国家自然科学二等奖、2016年陈嘉庚青年科学奖（信息技术科学奖）。

一提到计算机图形学应用到的场景，人们首先想到的是电影和游戏。正如每个玩过电脑游戏的人有这样一个想法：怎样让计算机生成如现实世界般栩栩如生的图像。

周昆博士指出，以电影和游戏为代表的娱乐产业，计算机图形学在其中应用可总结为三点：建模、做成动画、渲染。

先在计算机中把三维物体建模出来，然后再让它变为动态（动画），最后把物体或者动画渲染成图片或电影。

计算机图形研究人员们最终做出来的技术和软件（类似 3D Max 和 MAYA）多供游戏和电影工作者使用，这些人利用图形工具制作出优秀的电影和游戏作品。然而大多数普通用户几乎没有机会使用这些产品进行创作。

因此周昆提出一个设想，计算机图形学 2.0 不仅只为电影、游戏、AR，VR，移动应用、3D 打印相关工作人员使用，而且能够满足新应用的需求，使得普通用户也能使用。

正如 Web 1.0 时代网络上的内容由编辑撰写，而 Web 2.0 则是 UGC 时代，用户开始深入参与内容的产出。周昆博士希望计算机图形学 2.0 从用户角度讲变为人人可参与、可进行创造的时代。

随后周昆教授着重讲述了最近五年他在探索计算图形学 2.0 时做的研究，主要专注两个方向的研究：

• 数字化身（digital avatar）

• 计算制造（computational fabrication）

第一个方向：数字化身

目前数字化身的研究主要集中在人脸上，周昆团队希望用普通的相机就能人脸进行追踪和捕捉。当然，这个方向的研究，计算机图形学和计算机视觉已经做了很多年，研究主要集中在追踪效果和抓取方式，以及两者是否能达到一个较好的妥协标准。虽然这些技术早已开始应用，但多为提供给专业人士使用的专业级产品。

周昆博士的设想是希望把这些技术应用在普通用户经常使用的移动终端和移动设备中，尤其是 VR 和 AR：普通人用普通的摄像头就能把人脸捕捉到，然后继续捕捉到表情，把表情抽取出来去应用在任意一个化身当中。

他们目前正在做的是，任意一个人进入相机视场中，他的人脸就会被捕捉到，他脸部 3D 数据随之被计算而出，然后定制到任意的化身上来。这当中需要应对三大挑战：

• 恶劣的环境：如光线阴暗的网吧、户外环境下阳光直射造成阴阳脸，这些环境均是对算法的执行有着较大的干扰。

• 计算性能问题：捕捉工具应用在移动设备中对计算性能要求较高，目前周昆博士的团队可在 iPhone上达到每一帧 10 毫秒，安卓平台上小米三每帧 20毫秒。

• 对存储的要求：因为它只能放在端上计算，不能放在云端，放在云端存在视频带宽的问题。

数字化身中如何处理复杂的头发？

头发模拟是数字化身中的一个巨大难题，通常利用计算机图形学和计算机视觉的方式做头发非常困难，而且需要在实验室环境下，布置一定数量的相机，设置好特定的光照，抓取不同状态的 60 张的图像，根据照片中头发的特征，把 3D 头发重建出来。

周昆教授研究一项全新的单一视图发型模拟技术，在只有适度用户交互的情况下，生成在视觉上和物理上均表现合理的 3D 头发模型，以此创建的头发模型可以形象地匹配原始输入图像。

这是他们今年工作的重点，利用一张照片即可模拟头发：先利用深度学习为头发设计一个神经网络，然后做出发丝建模，并计算出发丝朝向的预测，最终把头发的 3D 形状重建。

上述提到的是头发建模问题，而如何把头发做成动态这又是一个新的挑战：

在现实世界中，头发的一点点变动都意味着发丝之间遮挡关系的变化：一些原来看不到的发丝暴露出来，另一些原先可见的发丝被遮挡住和交叉等问题。而在图像中，这种变化是无法用传统的基于像素操作的图像编辑工具实现的。

周昆博士提到，他们在 2014 年做出来的解决方案比当时最好的方法快过三个数量级，模拟 15 万根头发可以做到每帧 45 多毫秒。目前数字化身更多应用在脸部和头发上，未来还将继续涉及到身体、衣服等组成部分中，以至于达到把人“复制”出来，也就是数字替身（Digital Double）。

第二个方向：智能制造 Computational Fabrication

周昆博士指出，上述提到的研究是把物理的形状数字化 3D 化，而计算机图形 2.0 需要做的事情是把数字模型物理化，从而制造出新的东西。

把 3D 模型应用在工业制造领域，有些人会提到说用 3D 打印，但其实 3D 打印在复杂形状物体打印中表现不错，但要打印出具有复杂图案的全彩色三维物体仍然相当困难，这其中存在的巨大问题就是它对颜色的支持很弱，着色效果远不如二维彩打，而且价格昂贵。另外还受限于塑料和石膏等极少的材料。

环顾整个传统制造业，至今都没有一个很好的方式给 3D 曲面上色。以瓷器生产为例，瓷器的其他工艺自动化已非常成熟，唯独在上色和贴花方面仍旧保持着最原始传统的方式。

“我们希望能通过计算手段，去解决三维打印生产环节中的瓶颈问题，让原来很困难的事情变得简单。”周昆说。

为此，周昆团队提出了全新的计算水转印技术，解决为三维物体进行精确上色的难题。水转印是当前在工业上被广泛应用的曲面上色技术，但只能用于对精确性没有要求的上色任务，比如迷彩、大理石等纹理。周昆团队通过计算机图形学和计算机视觉技术，让水转印能够‘瞄准’，为三维物体穿上任意设计的彩色‘外衣’。

至于如何实现呢？这需要计算机将三维设计稿“降维”成一个二维的“展开图”。他们先对水转印过程中水转印薄膜的形变进行了物理建模，得到三维设计图与膜上的每一个点的映射关系。在这一理论基础上，开发出一套用于实际着色的自动原理样机。

具体应用层面，特效师在电脑上完成一张人脸 3D 纹样设计后，周昆团队开发出的软件根据 3D 纹样后快速计算生成一个二维“展开图”。随后，普通喷墨打印机就打印出一张印有“展开图”的水转印薄膜。将薄膜放在静止的水面上，将需要上色的人脸模型浸入水中，薄膜即可包裹住人脸模型。通俗讲，这像是一种完美精确的自动‘贴膜’技术。

周昆提到这项技术的本质是将三维数字化模型表面上的一个点，精确对应到其物理模型表面上的点。有了这种从虚拟数字世界到物理世界的对应关系，未来的技术开发将有更大的想象空间。着色，只是其中的一项应用。

计算机图形学从 1.0 升级到 2.0 的三大助推器

最后，周昆博士指出计算机图形学从 1.0 升级到 2.0 的三大要素。

• Input 在变：以往做的是点云和 MASH（MAYA 节点控制器插件），现在直接处理大量图像和视频中，以及从其他传感器抓取到的信息。而且未来计算机图形学和计算机视觉的结合将越来越紧密。

• Output 在变：以往输出的均为数字图像和模型，而现在不仅可得到数字图像，也可把数字图像和模型应用在实体制造中，生产出实体物体。

• 应用场景在变：从电影和游戏场景这两大应用场景延伸到 VR、AR、移动应用以及3D打印中。

雷峰网原创文章，未经授权禁止转载。详情见。