Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”

作者 | 青  暮

编辑 | 丛  末

Yoshua Bengio来Twitter传道授业解惑啦！

Yoshua Bengio是2018年图灵奖获得者，蒙特利尔大学计算机科学与运筹学系教授，蒙特利尔学习算法研究所（MILA）科学主任，以及微软研究院顾问。

这是他首次在Twitter上亮相，不过可惜的是，他并没有开通自己的Twitter账号，而是借着微软研究院的官方Twitter 账号发言。

早在7月11日，Bengio就在微软研究院的官方Twitter上发布了一个视频，表示会在7月16日与网友进行问答互动。Bengio在视频中说，可以就他的研究工作提任何问题，并特别提到他发表在ICML2020的一项工作。

不过提问者似乎对如何入坑AI以及其它学术问题更感兴趣，有人甚至问Bengio如何教小学生学习AI，Bengio也毫不介意，非常热情耐心地回答了二十多个问题，让我们来看看Bengio都分享了哪些真知灼见吧。       

可以在这个网页或Twitter上搜索“#AskYoshua”查看所有网友的问题。虽然回答时间已经过去了，仍有不少网友想请教Bengio。

#AskYoshua问答：https://twitter.com/hashtag/AskYoshua?src=hashtag_click

Bengio提到的发表在ICML2020的论文是《Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules》，感兴趣的同学可以去看看：

论文的ICML主页：https://icml.cc/virtual/2020/poster/6039      

以下是问答内容，AI科技评论进行了不改变原意的整理：

 

1

如何入坑AI？

01、Rakshith V：为了从理论转向实际从而更好地理解深度学习，我应该怎么做？是实现论文，还是参加Kaggle竞赛，还是其它途径？

Yoshua Bengio：首先，你需要敢于实践，亲自动手尝试。复现论文是一个很好的起点（除非拥有大量算力，一般我都进行小型实验）。

然后，你可以自问，采用什么方法可以使实现结果变得更好。如果发现论文中的结果不可复现，请不要犹豫，立刻与作者联系！

最后，不要犹豫，发表你的复现结果吧（例如，发表在arXiv），不管它是否奏效（知道复现结果的难度也是很有用的）。

02、Zaryab Akram：您对刚进入AI领域的研究人员有什么建议？

Yoshua Bengio：通过阅读足够深入地了解AI领域之后，将注意力集中在可以逐渐成为专家的某个领域，花时间阅读该领域的文献。

另外，通过自己进行实验来建立你的直觉，然后开始听从这些直觉去实践，有些会起作用，有些则不会。

03、Marcos Pereira：如果有人想开展独立研究以弥补深度学习当前的缺点（涉及构建人类智能的更大目标），您认为如何开始比较好？

Yoshua Bengio：每个机器学习研究人员都会对这个问题有不同的答案，这很棒，因为我们不知道什么idea是有用的：研究是一种探索。您可以通过观看我最近的演讲，并阅读我的近期论文来了解。

04、deva satya sriram chinthapenta：我是一名学生，对深度学习研究感兴趣，但对应用不感兴趣。我该如何从纯数学（概率统计）着手研究计算机视觉或其他领域？

Yoshua Bengio：即使只想进行基础研究，也应该动手理解概念，多亲自观察实验的结果，建立不仅基于理论而且基于经验的强烈直觉。系统1（经验）和系统2（理论）需要协同工作！

05、Ash：来自软件工程等应用领域的人如何开始AI研究？

Yoshua Bengio：我和Ian Goodfellow、Aaron Courville合作写了《深度学习》，这本书可以为你们提供帮助。

电子版免费哦：https://www.deeplearningbook.org/

还有中文版哦：https://github.com/exacity/deeplearningbook-chinese

学会必要的数学知识，然后去研究建议的参考文献，以确保具备阅读机器学习论文所需的知识。然后阅读大量论文，并亲自进行大量实验。问自己问题，不要认为任何事情都是理所当然的。

2

学术讨论 

06、Rakshith V：您对近期自监督学习的发展有什么看法？

Yoshua Bengio：自监督学习是一个非常古老的想法，只是用了新术语，它基本上是从无标签（或标签不足）的数据中生成表征形式。

近年来，它的威力变得越来越为人所知，它将继续成为我们工具箱的一部分，但仅凭自监督学习不足以解决诸如OOD泛化和学习更高级别的抽象之类的问题。

07、Mayur Jain：现实生活中存在偏见/歧视，而偏见/歧视又反映在数据中。由于很难在现实中更改数据，那要如何克服数据中存在的偏见/歧视？

Yoshua Bengio：我不是这个问题的专家，但是有专门针对此问题的讲座和教程。出发点是同情心，要思考我们的行为如何伤害或帮助他人，并且要明白让不公正现象继续存在是不可接受的。

我们每个人只要做一点点改变就可以逐渐改变社会规范、文化和实践，从而朝着更加公平和包容的社会迈进。

在日常生活（包括工作）中思考自己可以做的事情，以及从其他人正在做的事情中寻找启发。

08、Antonio Regalado：请问您的新论文是对计算机和人类推理偏见（bias）的辩护吗？

Yoshua Bengio：归纳偏置（inductive bias）和偏见不是一个概念。机器学习探索各种归纳偏置。在这项研究中，我们尝试从大脑中获取灵感，以探索可能有更好泛化能力的神经网络架构。最好的归纳偏置有很好的泛化能力。很多基于推理的经典AI都是受人类认知启发的，现代机器学习也是如此。

09、Harm van Seijen：研究模块化网络上时要注意的主要陷阱是什么？

Yoshua Bengio：这是机器学习和深度学习研究的常规方法，我认为，我们应该从OOD泛化性和迁移学习任务中的样本复杂性方面衡量增益，而不是依据常规的基准。

实验效果不佳的话，可能会让人们感到沮丧，过去这也发生在我身上。解决方案是：用长远的眼光重新思考，以决定是否继续努力。

10、Alejandro Piad Morffis：您对AutoML感兴趣吗？您认为AutoML和NAS是机器学习和深度学习未来发展的重心还是边缘领域，或者它仅是面向应用的方法？

Yoshua Bengio：我对AutoML研究，以及架构搜索和生物进化之间的联系感到着迷。不仅是架构，学习过程本身也应该成为搜索的一部分。

然而，这种盲目搜索的问题在于：它使得我们更难以科学地（例如在数学上）理解算法的过程。

我想说这种研究是不得已而为之，是一种绝望的选择，认为我们可能无法使用理性找到解决方案，而需要依赖蛮力。

11、Samiul Hasan：神经网络还无法解决哪些问题？

Yoshua Bengio：当前的神经网络大多擅长人类的系统1（经验）的能力，但并不擅长某些系统2（理论）的能力。

语言学家一直特别强调，与当前的机器学习（包括深度学习）相比，人类擅长系统概括。人类可以系统地将通用概念重组以形成清晰而新颖的含义，甚至可以应用到全新的领域，。

12、Mohit Sharma：许多机器学习研究是易于进行的并且可以独立进行。但是，理论研究很难独立地在没有指导的情况下发表在COLT / ICML中。您对此有什么建议呢？

Yoshua Bengio：去接触从事您认为有趣的工作的初级研究人员。

13、Hitesh Kumar Balapanuru：在AI中存在以下几个问题：

（1）泛化能力vs在有限测试数据集上更高的准确率（数据可能反映现实世界模式）

（2）如果算法准确率很高，可解释性是否重要？

可以分享一下您对此的看法吗？

Yoshua Bengio：机器学习领域将很多研究精力放在泛化的一般形式上，以测试与训练数据拥有相同分布的数据。我认为我们正在转向分布外（out-of-distribution）泛化，这将实现更强的鲁棒性。

此外，从拟合数据分布转向建立其抽象表征以捕获因果结构的方法（使用类似于单词的概念，即语义表征），也应该有助于解释性。

14、Venkateshwar Ragavan @ ICML’2020：鉴于神经科学对理解人工神经网络产生了深远的影响，还有哪些学科（如物理学等）将在理解人工神经网络黑箱子方面发挥关键作用？

Yoshua Bengio：物理学已经对神经网络产生了重大影响，比如基于能量的模型、玻尔兹曼机、熵和互信息的概念，以及物理和因果推理之间的关系。

推荐你看看这个视频：https://www.youtube.com/watch?v=4qc28RA7HLQ

15、Ujjwal Upadhyay：有一个观点说，表征学习有助于解决对抗性学习问题，您怎么看？

Yoshua Bengio：首先，人类也容易遭受对抗攻击（视错觉、心理偏见等）。其次，我相信，一旦能够训练深层网络捕获对世界的高级抽象理解，我们将得到更加鲁棒的系统。

这个问题与系统2（理论）相关联，当然，也以系统1（经验）为基础。当前许多成功作弊的对抗样本都利用了系统依赖于底层特征（即不够抽象的特征）的特点。

16、Alex Simonelis：您认为国家是否应该限制AI研究？

Yoshua Bengio：这是一个棘手的问题。但是，作为研究人员或工程师，我们确实需要注意误用AI对社会的影响。 

17、Greg Yang：我很好奇您在“意识先验”方面的最新研究成果是什么？

相关论文：https://arxiv.org/abs/1709.08568

Yoshua Bengio：我最近的论文中有很大一部分是对此的后续研究，有几篇正在提交中。值得注意的有两个分支：一个是关于因果发现（在稀疏的因果图中）的系列论文，另一个是关于模块化循环架构的论文。

关于循环独立模块，我在ICML发表的论文中涉及的自上而下的注意力就是一个例子。可以查看我最近的演讲以得到更广泛的了解，比如在Tubingen机器学习Summer Schoool上的演讲。

No1：https://www.youtube.com/watch?v=c_U4THknoHE

No2：https://www.youtube.com/watch?v=PDPdIDihPvc

18、Harm van Seijen：您认为，是否存在可以对大多数形式的组合进行编码的模块化网络设计？还是我们需要不同形式来编码不同形式的组合？

Yoshua Bengio：在深度网络架构中，至少已经利用了两种形式的组合性，一种形式来自分布式表征，另一种形式来自深度。

模块化和注意力以及可能的其他机制（例如工作记忆）可能是另一种形式的要素，有可能帮助实现人类所拥有的系统概括能力。

 

3

AI未来五年

19、Pinaki Dasgupta：您认为未来五年深度学习或意识处理会如何发展？

Yoshua Bengio：我认为，大脑中关于意识处理的一些机制会在接下来的几年中逐渐融入了深度学习架构和训练框架中。

此外，执行控制的优势也能为深度学习带来好处，例如重用知识、迁移学习、处理反事实的能力、抽象的信用分配等等。

20、Devon Hjelm：在您看来，是什么idea促成了当前机器学习领域的现状？您认为我们在不久的将来（未来5年）将走向何方？

Yoshua Bengio：你可以看我最近发布的演讲视频《Deep Learning》，第一个视频回答了你第一个问题，第二个视频回答了你第二个问题。

No1：https://www.youtube.com/watch?v=c_U4THknoHE

No2：https://www.youtube.com/watch?v=PDPdIDihPvc

4

假如让Bengio教孩子机器学习？

21、Stefania：这是一个假想问题，您会如何设计K12（学前教育至高中教育的缩写）机器学习教育？

Yoshua Bengio：我会让孩子加强对数学和CS的学习，但更重要的是让孩子在学习过程中具有自主权。让他们成为发现物理定律和数学技巧的人，而不是被强迫加入其中。我会将孩子当成新手研究人员，给予建议和指导。

---

雷锋网雷锋网雷锋网(公众号：雷锋网)

。