DeepMind新研究：使用强化对抗学习合成图像程序

雷锋网(公众号：雷锋网)AI科技评论按：近日，DeepMind 发表的一篇博客中提到了一种新的人工智能体，它可以推断数字，角色和肖像的构造方式。更为关键的是，它们是自己学会做这件事，而不是靠人工标记的数据集。

真实的世界并不仅仅是我们眼睛里所反映的图像。例如，当我们看建筑物并欣赏其设计的复杂性时，我们也欣赏它所需的工艺。这种思维方式可以使我们对世界有更加丰富的理解，也是人类智慧的重要体现之一。

DeepMind 的研究员希望它们的系统也能创造出同样丰富的世界表现形式。例如，观察绘画的图像时，希望系统能了解用于创建绘画的笔触，而不仅仅是表现在屏幕上的像素。

在这项工作中，研究员为人造智能体（agents）配备了与人类用来生成图像相同的工具，并证明它们可以推断数字，人物和肖像的构造方式。更关键的是，它们是自学如何做到这一点，而不是通过人为标签的数据集。这与最近的一项研究「A Neural Representation of Sketch Drawings」提到的依赖从人类经验中学习的方式恰恰相反。依赖于人类经验的学习通常是很耗时的。

研究员设计了一个可以与计算机绘画程序交互的深度强化学习智能体，将笔触放在数字画布上并更改画笔大小，压力和颜色，未经训练的智能体画笔很随意，并没有明显的意图或结构。为了克服这一点，研究员需要创建一种奖励方式，鼓励 agents 生成有意义的图片。

为此，研究员训练了第二个神经网络，称之为鉴别器。它唯一目的是预测特定图形是由 agents 制作的，还是从真实照片的数据集中采样的。agents 的奖励是通过「欺骗」鉴别者认为它的绘画是真实的。换句话说，agents 的奖励信号本身就是学习的。虽然这与生成对抗网络（GAN）中使用的方法类似，但并不相同。因为 GAN 网络设置中的生成器通常是直接输出像素的神经网络。而这里的 agents 是通过编写图形程序来与绘图环境交互来生成图像。

在第一组实验中，agents 通过训练生成类似于 MNIST 数字的图像：它显示了数字的样子，但没有显示它们是如何绘制的。通过尝试生成欺骗鉴别器的图像，agents 学会控制画笔并操纵它以适应不同数字的风格，这是一种称为可视化程序合成的技术。

研究员也训练它重现特定图像的能力。在这里，鉴别器的目的是确定再现图像是否是目标图像的副本，或者是否由 agents 产生。鉴别器越难区分，agents 得到的奖励就越多。

最重要的是，这个框架也是可以解释的，因为它产生了一系列控制模拟画笔的动作。这意味着该模型可以将其在模拟绘图程序中学到的知识应用到其他类似环境中的字符重建中，例如用在仿造的或真实的机械臂上。

还有可能将这个框架扩展到真实的数据集。agents 经过训练可以绘制名人脸部表情，能够捕捉到脸部的主要特征，例如形状，色调和发型，就像街头艺术家在使用有限数量的画笔描绘肖像时一样：

从原始感受中提取信息结构化表示是人类很容易拥有并经常使用的能力。在这项工作中，研究员表明可以通过让智能体获得和人类重现世界的相同工具来指导智能体产生类似的表示。在这样做时，它们学会制作可视化程序，简洁地表达因果关系，提升了它们的观察力。尽管该工作目前仅代表了向灵活的程序合成迈出一小步，但预计需要类似的技术才能使智能体具有类似人的认知，包括归纳概括和沟通交流等能力。

相关论文：Synthesizing Programs for Images using Reinforced Adversarial Learning 

雷锋网编译

via DeepMind

雷锋网原创

。