雷锋网(公众号:雷锋网)AI研习社【本期论文】
Visual Attribute Transfer through Deep Image Analogy
基于深层图像类比的视觉属性转移
相信不少人都用过Prisma这个修图软件,它内置了20余款艺术化滤镜风格,能让手残党拍的照片一秒变大师作品,那些艺术家们经常提到的印象派、野兽派、浮世绘、波普、解构主义,瞬间变成你的掌中之物。
Prisma修图前与修图后
今天要介绍的这篇论文,就是为大家解释解释,图像的风格迁移是怎么实现的。
首先,简单介绍一下“照片-风格”方面的技术革新。这是由微软亚洲研究院视觉计算组发明的一种新的前馈网络,适用于接近实时结果的前馈式风格转换,可以同时学习多种艺术风格,而训练和运行时间也都有很大的提升。
在这儿,我们用两张图片来做个示范。图片1输入照片, 图片2是期望得到的风格。这一过程的输出结果是将图片1转变为图片2的风格。
照片-图片风格转化
大家都知道,Prisma主要是内容和风格的合成。但是微软亚洲研究院的研究员则更进一步,将图像识别转换的能力进行了增强。将风格转移问题转化为图像类别问题,并提出了Deep PatchMatch算法来查找图片中所有像素的对应关系(dense correspondence)。
它旨在提供创建出语义相似结果的风格转换方法,这意味着输入/输出的图片可能在视觉上看起来完全的不同,但是存在一些相似的语义成分,比如阿凡达的脸和蒙娜丽莎的脸有着相似的语义成分。在这种情况下,学习算法识别到他们都有鼻子,在风格传递过程的利用这个有效的信息。
图片-图片相似语义成分
接下来,视频为大家分享了三个关于图片和视频的高科技玩法,第一种是我们熟知的普通照片-风格转化,第二种是照片-照片风格互换,第三种是特定风格化或素描化,第四种是照片-照片颜色转移,现在这些玩法不仅适用在修图软件中,还能在视频中使用。
▷ 观看论文解读大概需要 3 分钟
学霸们还请自行阅读论文以获得更多细节
论文原址:https://arxiv.org/pdf/1705.01088.pdf
Github:https://github.com/msracver/Deep-Image-Analogy
雷锋网AI研习社出品系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。欢迎关注雷锋网雷锋字幕组专栏,获得更多AI知识~感谢志愿者对本期内容作出贡献。
。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/128597.html