从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文

雷锋网(公众号:雷锋网):雷锋字幕组编译系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。

翻译/ 邓玉恺

整理/ 孙云  凡江

本期论文:Unsupervised Image-to-Image Translation Networks

论文译名:无监督以图生图(图到图迁移网络)

英伟达推出的新技术无监督图到图迁移网络,可以根据已有的图像,创造出不同场景下的新图像。比如,把冬天变成夏天,把城市照片换成城市地图,将白天公路换成夜间公路。

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文

这种技术的一种典型实现方式是使用生成对抗网络(Generative Adversarial Networks,简称GANS)。GANS是一对神经网络,其中的生成网络负责生成合成图像以欺骗判别网络,而判别网络尝试区分生成器生成的合成图像和真实图像。

这两个神经网络共同学习,其中生成网络尝试生成更真实的图像以欺骗判别网络,而判别网络则尝试着能更好的区分真实图像和合成图像。这个对抗过程将使得这两个网络变得越来越好,最终的结果也表明了该技术生成的转化图相当真实。

▷ 观看雷锋网论文解读大概需要 4 分钟

在雷锋网介绍的这篇论文中,作者使用了6个网络而不是2个网络。在一项早期的图像转化工作中,研究者依靠的是循环一致性约束。这意味着我们可以假设源图像可以被转换成目标图像,而目标图像可以再反过来转换成和源图像十分相似的图像。该假设的成立意味着,图像转化并非任意随机,而是隐含了深层次的算法转换。

这项新技术构建在一个假设上,假定存在一个隐空间,在这个隐空间中输入和输出图像可以共存。这个隐空间便是复杂数据的一种直观、简洁的描述。但该技术仍然存在的局限是,训练过程过度依赖对抗网络,没有显在的训练指标,训练过程收敛的临界点自然无从得知。

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文冬天变成夏天

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文哈士奇变成柯基

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文现实世界视频转变成游戏视频

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文还可以给人换个发型或是戴上墨镜,甚至加个笑容

论文:https://arxiv.org/pdf/1703.00848.pdf
代码:https://github.com/mingyuliutw/UNIT

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文

从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文


从冬天回到夏天,英伟达的迁移网络能派上用场 | 2分钟论文

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/129229.html

(0)
上一篇 2021年8月30日
下一篇 2021年8月30日

相关推荐

发表回复

登录后才能评论