AI专家们推荐的13篇“必读”论文

译者：AI研习社（Icarus、、Maker、这么辣鸡吗、Clara）

双语原文链接：13 ‘Must-Read’ Papers from AI Experts

以下所有的论文都是免费的，涵盖了从超梯度到CNN的产量响应建模等一系列主题。每位专家还附上了论文被选中的原因以及简短的个人简历。

Jeff Clune，OpenAI的研究团队负责人

我们在一月份的时候就和Jeff谈过，当时他不能只选一篇论文作为必读，所以我们让他选了两篇。下面列出这两篇论文。
Learning to Reinforcement Learn（2016）—Jane X Wang et al.

本文解读了两个关键的讨论点，即稀疏训练数据的局限性，以及循环网络是否能在完全监督的情况下支持元学习。这些要点在七个概念验证实验中得到了解决，每个实验都研究了深度元RL的一个关键方面。我们考虑了扩展和扩大该方法的前景，同时也指出了一些对神经科学的潜在重要影响。点击这里阅读更多内容。

Gradient-based Hyperparameter Optimization through Reversible Learning (2015) – Dougal Maclaurin, David Duvenaud, and Ryan P. Adams.

Jeff推荐的第二篇论文通过在整个训练过程中倒链导数，计算出所有超参数的交叉验证性能的精确梯度。这些梯度允许对数千个超参数进行优化，包括步长和动量计划、权重初始化分布、丰富的参数化正则化方案和神经网络架构。你可以在这里阅读更多关于这篇论文的内容。

Shalini Ghosh，三星研究美国公司智能电视部门首席科学家（全球）和机器学习研究团队负责人

Long Short-Term Memory (1997) – Sepp Hochreiter and Jürgen Schmidhuber

这篇1997年的开创性论文的思想是超前于那个时代的。直到最近（即过去6年左右），硬件加速器才有能力运行LSTM的训练/服务操作，从而使得LSTM成功用于许多应用（如语言建模，手势预测，用户建模）。 LSTM基于记忆的序列建模架构非常有影响力——它启发了许多最新的改进方法，例如Transformers。这篇论文对我的工作影响很大。

Efficient Incremental Learning for Mobile Object Detection (2019) – Dawei Li et al

本文讨论了近期流行的对象检测模型RetinaNet的创新变体，并介绍了增量学习的范例，该范例的此应用和其他对于多模式学习应用是很有效的。本文中使用的关键思想和增量学习公式对从事CV工作的任何人都有用，并且可以为对移动设备有效的高效增量算法铺平未来创新的道路。

Kenneth Stanley，Charles Millican教授（UCF）和Uber高级研究经理

Emergent Tool Use From Multi-Agent Autocurricula (2019) –Bowen Baker等人。

Ken之所以选择这篇论文，是因为它给出了一个独特的例子，说明了新兴行为，并暗示了开放性的开始。论文本身找到了明确的证据，证明在我们的环境中，代理策略有六个涌现阶段，每一个阶段都会给对方团队带来新的压力，让他们去适应；例如，代理学会了使用可移动的盒子来建造多物体掩体，这又导致代理发现他们可以使用坡道来克服障碍。点击这里阅读本文的更多内容。

Open-endedness: The last grand challenge you’ve never heard of (2017)—-Kenneth Stanley等人。

我们允许Ken也加入了他自己和他的同事们的一篇论文，他的建议是 "关于开放式挑战的非技术性介绍"。这篇论文在描述中解释了这个挑战到底是什么，如果解决了它的惊人意义，以及如果我们激发了你的兴趣，如何加入这个探索。在这里阅读更多关于这篇论文的内容。

Andriy Burkov，Gartner数据科学总监

Attention Is All You Need (2017)–Ashish Vaswani等人。

Andriy推荐了2017年的这篇论文，因为用他自己的话说，"它将NLP与BERT等预训练的Transformer模型带到了一个全新的高度"。论文提出了一种新的简单网络架构–Transformer，完全基于注意力机制，完全免除了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更胜一筹，同时更可并行化，所需的训练时间也大大减少。你可以在这里阅读这篇论文。

Andrew NG，Landing AI创始人兼首席执行官和deeplearning.ai 创始人

当我们联系Andrew时，脑海中并没有具体的论文，然而，我们被引导到他最近的一篇帖子，其中突出了他认为可能感兴趣的两篇论文。下面引用了这两篇论文。

Modeling yield response to crop management using convolutional neural networks (2020) 「利用卷积神经网络建模作物管理的产量响应(2020)」-Andre Barbosa等人。

在这项工作中，Andre等人提出了一种卷积神经网络(CNN)来捕捉不同属性的相关空间结构，并将它们结合起来建模产量对养分和种子率管理的响应。利用九个农场实验构建了一个合适的数据集，对CNN模型进行训练和检验。评估了四种组合了网络中不同阶段的输入属性的体系结构，并将其与最常用的预测模型进行了比较,在这里阅读更多关于文章的内容。

A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis (2019) 医学影像诊断疾病的深度学习绩效与医护人员的比较：系统回顾与meta-analysis(2019)–刘晓轩等.

本文评估了深度学习算法与医疗保健专业人员在使用医学成像对疾病进行分类时的诊断准确性。进行样本外外部验证的研究包括在meta-analysis中，使用统一的分层模型。点击这里阅读更多关于这篇文章的内容。

Gregory Piatetsky-Shapiro，数据科学家和KDnuggets总裁

当我们联系到Gregory时，他建议他的论文选择是基于试图理解AI和ML的大趋势，最近的两篇论文对他来说非常突出。“我最近读了两篇重要的论文，下面是Gary & Francois的文章。我还推荐看Yoshua Bengio和Gary Marcus在Montrea进行的辩论。”

The Next Decade in AI: Four Steps Towards Robust Artificial Intelligence (2020) 《人工智能的下一个十年：迈向稳健人工智能的四个步骤》(2020)–Gary Marcus

本文介绍了人工智能和机器学习的最新研究，这些研究在很大程度上强调了通用学习和越来越大的训练集和越来越多的计算。与此形成对比的是，加里提出了一种混合的、知识驱动的、基于推理的方法，以认知模型为中心，可以为比目前可能的更丰富、更健壮的人工智能提供基础。

On the Measure of Intelligence (2019) “论智力的测量”(2019)– François Chollet

Gregory的第二个建议是François Cholle的“关于智力的衡量”。本文总结和批判性地评价了智力测量的定义和评价方法，明确了隐含指导它们的两个历史智力概念。然后，弗朗索瓦在算法信息论的基础上提出了一个新的智力正式定义，将智力描述为技能获得效率，并强调了范围、推广难度、先验和经验等概念。请在这里阅读这篇文章。

Myriam Cote，顾问

Tackling climate change with Machine Learning (2019)-David Rolnick，Priya L Donti，Yoshua Bengio等

Myriam的建议包括机器学习及其对环境的影响。气候变化是人类面临的最大挑战之一，机器学习专家想知道如何提供帮助。在本文中，作者描述了机器学习如何成为减少温室气体排放和帮助社会适应气候变化的有力工具。从智能电网到灾难管理，他们通过与其他领域合作来发现目前影响较大的问题，这些问题可以通过机器学习的方法来进行解决。在此处阅读本文的更多内容。

Kirk Borne， 首席数据科学家和数据科学研究员，

博思艾伦咨询公司执行顾问  

The Netflix Recommender System: Algorithms, Business Value, and Innovation (2015) -Carlos Gomez-Uribe & Neil Hunt

“这篇论文已有一定年份，且不是技术性文章，但是它涵盖了许多你需要思考的基本问题，业务决策点，算法特征，度量和数据特征，测试和验证在操作环境中部署AI算法。我之所以喜欢这篇文章，也是因为推荐引擎很受欢迎且在不同的行业中使用，得到了所有人（甚至是非专家）的认可。因此，本文可以迅速为学生（包括其他人）获得对算法的深入理解和乐趣。请在此处阅读本文。

AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。

如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。

雷锋网雷锋网(公众号：雷锋网)雷锋网

雷锋网版权文章，未经授权禁止转载。详情见。