腾讯优图实验室高级研究员沈小勇：ICCV 2017 一键卸妆&视频超分辨率论文详解

雷锋网 AI 科技评论按，ICCV（The International Conferenceon Computer Vision）是计算机视觉领域的三大顶级会议之一，腾讯优图实验室在 ICCV 2017 中共投稿 15 篇论文，其中 12 篇被大会录用。录用论文中，被誉为「一键卸妆」的论文 Makeup-Go: Blind Reversion of Portrait Edit 在社会各界引起了强烈反响，引爆社交媒体。另一篇超分辨率的论文 Detail-revealing Deep Video Super- resolution（细节还原深度视频超分辨率）相关技术也已经在 QQ 空间成功落地，各项性能指标均超过谷歌的同类技术。

近日，雷锋网 AI 科技评论邀请到腾讯优图实验室高级研究员沈小勇，他为我们详细介绍了腾讯优图实验室和前面提到的两篇论文：「一键卸妆」（Makeup-Go: Blind Reversion of Portrait Edit）和视频超分辨率（Detail-revealing Deep Video Super- resolution）。

嘉宾简介：沈小勇，腾讯优图实验室高级研究员，浙江大学本科、硕士，香港中文大学博士、博士后。主要研究深度学习在图像视频处理理解中的应用，包括图像增强、分割、物体检测识别、运动与深度估计等，在 CVPR、ICCV、ECCV 等顶级会议和 TPAMI、TOG 等顶级 Journal 上发表论文超过 15 篇。

以下为他的分享内容：

雷锋网(公众号：雷锋网)的网友们，大家晚上好，非常高兴能在这里进行直播，我今天分享的题目是《视觉 AI IP 输出者：腾讯优图 ICCV 2017 论文》，我是沈小勇，腾讯优图高级研究员，目前在优图主要进行人工智能的技术研究及开发工作。

这是我的个人主页，我本科和研究生就读于浙江大学，博士就读于香港中文大学。

下面是对腾讯优图的简介，我们主要立足于人脸识别、图像识别、音频识别三个方面的研究。

下面是优图在基础研究、平台数据以及业务场景三方面融合的生态。

这是优图实验室2017年最新的技术突破。

今天我重点要跟大家分享的是腾讯优图在 ICCV 2017 上发表的其中 2 篇论文。

Makeup-Go: Blind Reversion of Portrait Edit

我分享的第一篇论文是 Makeup-Go: Blind Reversion of Portrait Edit，即一键卸妆，给你一张处理过的图片（比如经过美图秀秀把人变白、变美之后的图片），把软件处理之前的样子恢复出来。一般情况下，现在有很多图片处理 APP，我们想知道在美颜处理之前是照片是什么样。

下面是未经过美化的图片。

美化之后脸上的痘痘消失了，皮肤变得非常光滑。

想要把图片恢复成处理之前的状态，难点在哪里？

简单暴力的方法是既然有输入图片和输出图片，能不能训练出一个神经网络自动学会处理图片。在这里我们做了一个简单实验，是2016年 CVPR 的一篇文章，一个非常深的网络。

下面是输入和输出。从这里可以发现，即使用了一个那么深、学习能力那么强的网络，还是和最初的图像有很大差别，比如说皱纹和雀斑，都恢复得不是那么完美。

为什么现在的 CNN 网络不能恢复原来的图片？图像里包含很多东西，如果只是简单用 CNN 去回归，只能回归出非常少的 component，我们在图像恢复时发现了一个非常重要的信息，叫 component domination effect，这篇文章重点针对 component domination effect 来改变一键卸妆效果。

首先我们对 L2 loss 进行分析，可以对其进行分解，F 是神经网络的输出结果，y 是 ground truth。

我们在这里发现，实际上可以对 L2 loss 进行分解，分解成 PCA 不同 component 的线性组合。

可以继续对其进行展开。

怎么理解 component，我们从大到小分解出来。

这里是我们所做的网络，称为 component regression network。相当于把图经过 PCA 分解为不同的成分，接下来我们希望通过不同的 subnetwork 把每一个 component 都能回归得很好，最后把各个 component 综合在一起，得到最终的结果。

接下来是我们的实验结果，可以证明这个网络对于一键卸妆是非常有效的。绿色线条是我们的结果，在 component 为 40 时就能达到比较好的效果。大家可以看到与 Euclidean loss 和 Perception loss 的比较。

下面的这张图经过美图秀秀处理，把雀斑、皱纹都去除了，可以看到我们复原的结果与 ground truth 修饰的结果的比较。

下面是一张 overly touched 图片，图像过度平滑，颜色都改变了，我们恢复的结果能把丢失的细节很好地复原出来。

下面是更多的结果，我们在网上随便找的照片，可以很好地把图中雀斑和皱纹恢复出来。

这个网络并不对所有案例都有效，下面是对 Trump 的图片的处理，虽然能把图片恢复出来，但和 ground truth 比还是有差别。

这个工作的总结如下：一、我们在做图像修复时发现了非常重要的性质 component domination effect；二，提出 component regression network，在很多领域有非常强的应用。

Detail-revealing Deep Video Super- resolution

第二篇论文是 Detail-revealing Deep Video Super-resolution，目前做出来的效果在业界非常好。

首先讲一下我们做视频超分辨率的 motivation。一，这是一个非常传统和基础的问题；二，应用非常非常多，比如说在监控场景下分辨车牌号。

对于视频超分辨率之前的工作，可以分为两类，一类是 image SR，一类是 video SR，具体的研究工作如 PPT 所示。我们这篇文章在别人的基础上把研究向前推进了一步。

下面是这个问题的难点。一是怎么去得到非常 effective 的网络，二是模型的问题。

首先介绍我们方法的优势：一是 sub-pixel motion 更好的运用，二是在视觉和数量上我们的结果比之前好很多。另外这个模型是 fully scalable 的，可以是任何输入大小，实现任何倍数放大。

下面是我们方法的网络。怎么解决刚才提到的那些问题呢？一是设置 Fully convolutional，二是 SPMC 层没有任何参数，三是 Conv LSTM。

下面是我们的分析。对这个网络，我们输入三个相同的帧，效果不是很好，而输入三个连续的帧可以得到比较好的效果。

第二个分析是将 SPMC Layer 和 Baseline 进行比较，SPMC 在此处效果更好。

通过对比可以看到我们的方法比之前的 Bicubic、BayesSR、DESR、VSRNet 都要好。

最后分析下运行时间，我们的方法优于 BayesSR、MFSR、DESR、VSRNet。

最后总结：一是这个工作是端到端的，有很好的适应性，二是提出了 SPMC layer，三是我们的方法质量很高，速度上有较大提升。

下面是对我们腾讯优图 X-Lab 的简介。

这是我们的团队照片，目前我们团队大概有 30 多个人。

最后我还想在这里来个简单的广告，目前我们团队处于飞速发展中，如果大家对我们团队有兴趣，欢迎加我微信。

视频：

。