Yann LeCun创造的新词“预测学习”将要落脚于GANs?

编者按:本文原作者Carlos E. Perez,由雷锋网(公众号:雷锋网)编译整理。

Yann LeCun在很多演讲中反复提到一个著名的“蛋糕”比喻:

如果人工智能是一块蛋糕,那么强化学习( Reinforcement Learning)是蛋糕上的一粒樱桃,监督学习(Supervised Learning)是外面的一层糖霜,无监督学习( Unsupervised Learning)则是蛋糕胚。

目前我们只知道如何制作糖霜和樱桃,却不知如何制作蛋糕胚。

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

到12月初巴塞罗那的NIPS 2016时,LeCun就开始使用“预测学习”(Predictive Learning)这个新词,来代替蛋糕胚“无监督学习”了。

LeCun在演讲中说道:

我们一直在错过一个关键因素就是预测(或无监督)学习,这是指:机器给真实环境建模、预测可能的未来、并通过观察和演示来理解世界是如何运行的能力。

这是一个有趣的微妙的变化,暗示了LeCun对于“蛋糕”看法的改变。其观点认为在加速AI发展进程之前,有很多的基础性工作要完成。换句话就是,通过增加更多的能力(比如记忆、知识基础和智能体)来建立目前的监督式学习,这意味着在我们能够建造那个“预测性的基础层级”之前,还有很多漫长艰辛的路途要走。

在其最新的 NIPS 2016的演讲中,LeCun放出了这么一张PPT,列出了AI发展中的障碍:

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

  • 机器需要学习/理解世界是如何运行的(包括物理世界、数字世界、人等,获得一定程度的常识)

  • 机器需要学习大量的背景知识(通过观察和行动实现)

  • 机器需要观察世界的状态(以做出精准的预测和计划)

  • 机器需要更新并记忆对世界状态的估测(关注重大事件,记住相关事件)

  • 机器需要推理和规划(预测哪些行为,会最终导致理想的世界状态)

预测学习,很显然要求其能够不仅在无人监督的情况下学习,而且还能够习得一种预测世界的模型。LeCun正在尝试改变我们对AI的固有分类的原因,或许是在表明,AI离最终的目标还有很多艰辛的路途要走。

最近受雇于苹果的Ruslan Salakhudinov教授曾做过一个关于无监督学习的演讲,在他演示的这张PPT的最右下角,提到了“生成对抗网络”(GANs)。

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

GANs由相互竞争的神经网络组成:生成器和辨别器,前者试图产生假的图像,后者鉴别出真正的图像。

GANs系统有趣的特点就是,一个封闭的形状损失函数并不是必须的。实际上,一些系统能够发现自己的损失函数,这是很令人惊喜的。但GANs网络的一个缺点,就是很难训练,这当中需要为一个非合作性的双方博弈,找到一个纳什均衡。

Lecun在一个最近的关于无监督学习的演讲中称,对抗性网络是“20年来机器学习领域最酷的想法”

Elon Musk所资助的非营利研究组织OpenAI,对生成模型格外偏爱。他们的动力可以总结为理查德·费曼的一句名言“不是我创造的,我就不能理解”(What I cannot create, I do not understand)。费曼这里其实是指“首要原则”(First Principles)思考方法:通过构建验证过的概念来理解事物。

在AI领域,或许就是指:如果一个机器能够生成具有高度真实感的模型(这是一大飞跃),那么它就发展出了对预测模型的理解。这恰好就是GANs所采取的方法。

这些图片都是由GANs系统根据给定词汇生成的。比如,给定词汇有“红脚鹬”、“蚂蚁”、“修道院”和"火山",便生成了如下图像。

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

这些生成的图像很令人惊艳,我想很多人类都不会画得这样好。

当然,这个系统也不是完美的,比如下面这些图像就搞砸了。但是,我见过很多人在玩“画图猜词”游戏时画得比这些糟糕多了。

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

目前的共识是,这些生成模型并不能准确捕捉到给定任务的“语义”:它们其实并不能理解“蚂蚁”、“红脚鹬”、"火山"等词的意义,但却能很好地进行模仿和预测。这些图片并不是机器基于原有训练图片库的再创造,而是根据通用模型(Generalized Model)所推断出的非常接近现实的结果。

这种使用对抗性网络的方法,异于经典的机器学习方法。我们有两个互相竞争的神经网络,但又好像在共同协作达成一种“泛化能力”( Generalization)。

在经典的机器学习领域,研究人员先定义一个目标函数,然后使用他最喜爱的优化算法。但这当中有一个问题,那就是我们都无法准确得知所定的目标函数是否是正确的。而GANs令人惊喜的地方在于,它们甚至能够习得自己的目标函数

这里一个迷人的发现就是,深度学习系统可塑性极强。经典的机器学习认为目标函数和约束条件都是固定的观念,或者认为最优算法是固定的观念,此时并不适用于机器学习领域了。而更令人惊喜的是,甚至元级(Meta-Level)方法也能够使用,也就是说,深度学习系统可以学习“如何学习”了(相关论文已经提交到 ICLR2017,比如这篇 https://openreview.net/pdf?id=Syg_lYixe)

Yann LeCun创造的新词“预测学习”将要落脚于GANs?

Via Medium

相关文章:

用AI制作的动画遭宫崎骏批评,研究人员选错画风?(附视频)

基于深度学习的商品检索技术


Yann LeCun创造的新词“预测学习”将要落脚于GANs?

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/62704.html

(0)
上一篇 2021年8月10日 22:35
下一篇 2021年8月10日 22:35

相关推荐

发表回复

登录后才能评论