Yann LeCun最新研究成果：可以帮助GAN使用离散数据的ARAE

雷锋网(公众号：雷锋网) AI 科技评论消息，Facebook人工智能研究中心FAIR负责人、深度学习三驾马车之一的Yann LeCun昨天在Facebook上评论转发了一条动态。Yann LeCun转发的这条动态来自跟他合作的一位纽约大学在读博士生Jake Zhao，介绍了一篇已经上传arXiv的论文。论文介绍了一种可以帮助GAN使用离散数据的“对抗性正则化的自动编码器”（ARAE，Adversarially Regularized Autoencoders）。Yann LeCun作为这篇论文的合作作者之一，转发这条消息并且进行了解读和评价。

根据论文原文，雷锋网 AI 科技评论整理了这样一张图，可以对ARAE要解决的问题做一个大体的认识：

如图是原动态和Yann LeCun的转发评论，译文请见下文

Yann LeCun的转发评论

Adversarially Regularized Autoencoders（对抗性正则化的自动编码器，ARAE）是一种新的方法，它可以把编码的内容信息限制在一个自动编码器中，并且防止该自动编码器学习到身份函数。为了达到这样的目标，以前就有过一些sparse AE（稀疏自动编码器）、variational AE（变分自动编码器，在代码中加入噪声）、denoising AE（降噪自动编码器）这样的尝试，也有人用差异对比这样的对比方法和其它基于MCMC（Markov Chain Monte Carlo，随机模拟）的方法。这次，我们用一组对抗性的生成器和鉴别器来生成指定熵的样本，并且我们借助鉴别器让自动编码器中编码的分布跟这对生成器鉴别器的分布相匹配。

经过训练以后，这个自动编码器的生成器和编码器部分就可以用作一个生成性模型。

ARAE可以有一种厉害的用法，就是可以在对抗性的设定下生成离散性的结构（比如文本）。由于对抗的过程是发生在（连续）编码上的，而不是输出上，这就可以缓解对抗性鉴别器直接用在离散输出上时可能会遇到的问题。

这项研究中有纽约大学、哈佛大学、FAIR多方合作，几个参与者是，纽约大学数据科学硕士毕业生、博士在读Jake Zhao，哈佛大学校友、博士在读Yoon Kim，纽约大学本科生Kelly Zhang，哈佛大学学生Sasha Rush，以及我自己。

Jake Zhao的消息内容

刚刚发表了这篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"（用于生成离散结构的对抗性正则化的自动编码器）论文，感觉非常激动，几个共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厉害。

论文地址：https://arxiv.org/abs/1706.04223

代码地址（有Torch和PyTorch两个版本）：https://github.com/jakezhaojb/ARAE

对于在离散结构上进行对抗性训练，我们提出了一个简单的解决方案：通过重新构建的方式训练一个序列到序列的转换模型，然后让GAN在连续编码空间中工作。同时，从GAN传回到序列转换模型的梯度也对训练一个有意义的自动序列转换模型起到了很大帮助。通过努力，我们得到了一个图像GAN网络应当具有的一组理想属性：生成性，z空间插值，向量计算。我们也基于语言模型生成样本的质量对该方法进行了量化评估。

更多人工智能、机器学习方面的学术动态，请继续关注雷锋网 AI 科技评论。

相关文章：

Yoav Goldberg与Yann LeCun论战背后：arXiv是个好平台，但和学术会议是两码事

AI科技评论专访Yann LeCun: 关于深度学习未来的14个问题

Yann LeCun清华演讲：讲述深度学习与人工智能的未来

雷锋网版权文章，未经授权禁止转载。详情见。