Facebook联合NYU探讨GANs原理，斩获一致好评的论文长啥样？ | ICLR 2017

雷锋网(公众号：雷锋网)AI科技评论按：ICLR 2017 将于4月24-26日在法国土伦举行，届时雷锋网AI科技评论的编辑们也将前往法国带来一线报道。在这个深度学习会议举办之前，雷锋网也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道，敬请期待。

今天雷锋网要介绍的 ICLR2017的oral paper ，纽约大学和Facebook的联合文章《Towards Principled Methods for Training Generative Adversarial Networks（训练生成对抗网络的基本方法）》，作者为一作Martin Arjovsky和Leon Bottou。这篇论文并不是要介绍某个单一的算法或者公式，而是对生成对抗网络的训练过程进行理论分析，从而使读者更好的进行理解。为了论述最终的结论，文中描述了几个有针对性的实验，从而进行验证假设，说明要求和量化现象。这篇论文主要分为三个部分。第一个部分介绍了目前在深度学习上遇到的问题；第二个部分则特别严谨深入的分析和介绍了在训练生成对抗网络的时候遇到的不稳定和饱和的问题；第三部分提供了解决问题的理论结合实践的新方法。 

自2014年生成对抗网络（GANs）由蒙特利尔大学 Ian Goodfellow等学者提出以来，其在生成“看起来”真实的图片上的能力得到了业内的普遍认可。其实GANs还可以利用于解决很多其他的问题，比如半监督学习，3D建模和语音合成和检测时的段落学习。然而，GANs真正使用于训练的时候并没有那么容易。近期很多论文都在启发性的设计基于GANs比较稳定的模型。但是，目前基本还没有哪篇论文详细的从理论分析GANs训练不稳定的真正原因，从根源上解决这种不稳定的方法也还没有出现。

《训练生成对抗网络的基本方法》这篇论文则介绍了其原理性不稳定的真正原因。论文介绍了几个例子，从公式和推断层面对GANs训练的不稳定性进行了论证。基于GANs的基本引理和定理，将鉴别器训练越接近最优，噪声便越急剧增长。从图中的噪声曲线也可以看出，随着训练的进行，噪声的多样性也在提高，从而最终导致了鉴别器和生成器归一的速度变慢，GANs网络的稳定性也在降低。

为了解决GANs网络的稳定性问题，论文提出了打破原理定律的方法——通过在鉴别器输入端增加连续的扰动噪声来平滑训练产生的噪声曲线。

ICLR评论：

ICLR委员会最终决定

这篇论文对训练GAN网络时遇到的不稳定的问题进行了细致的理论分析，并解释了扰动噪声GANs稳定性提高的原理。基于目前GAN网络使用的广泛性，这篇论文应该可以获得很好的影响力。

决定：通过（oral）

高质量论文

评价：通过这篇论文，我更好了理解了GANs在很多模型中失败的原因，并且通过阅读这篇论文，我知道了训练GANs更好的方法。根据文中提到的方法，我在GANs网络中增加了一些噪声，结果通过比老方法更少的G迭代，我得到了看起来非常不错的图片。并且，实验也同时应证了新训练的网络对超参数的敏感度降低的优势。非常感谢你发表这篇论文。

非常好的论文

评价：我认为这篇论文很好的介绍和解释了GANs，尽管一些实验之前就被提起过，但对GANs出现的问题都仅仅停留在“直觉”分析和非正式的说辞上，在这篇论文之前，还没有哪篇文章从理论进行解释。这篇论文很清晰的向学者了讲解了问题的来源和目前提出的方案可行的真正原因。论文直指了GANs之前被过誉的部分，我相信这对设计更大规模的GANs具有很重要的意义。

很好的文章

打分：8分，Top 50%，明确接受

评价：这篇文章对认识训练生成对抗网络的过程非常有帮助。通过分析动态GANs网络的训练过程，作者解释了GANs不稳定的原因。更重要的是，文章还提出了引入扰动噪声来解决问题的新方法。我相信这篇论文将会使更多对这个领域感兴趣的人加入对GANs的研究中。

非常有趣的文章

打分：10分，Top 5%，研讨会类型的文章

评价：这是一篇关于神经网络非常有意义并非常重要的文章。作者介绍的GANs工作的原理和其不稳定性都十分的重要。在我看来，这是关于GANs最好的一篇论文。因为它直接解决了GANs出现的第一版中的不稳定的问题。要知道，在GANs问世的初期，它的实践性几乎为零。

原文链接：https://openreview.net/forum?id=Hk4_qw5xe&noteId=Hk4_qw5xe 

雷锋网版权文章，未经授权禁止转载。详情见。