机器学习&人工智能：大牛带你回顾2016，展望2017

雷锋网(公众号：雷锋网)按：2016即将过去，针对机器学习和人工智能领域在2016年取得的重大进展，以及2017年可能出现的新趋势，外媒KDnuggets咨询了12位业内顶级专家，汇集了他们的观点并整理成文，其中AlphaGo战胜李世石成为今年的标志性事件。雷锋网对全文进行了编译，未经许可，不得转载。

1. Yaser Abu-Mostafa，加州理工学院顾问

2016和2017年对机器学习来说都是令人兴奋的。其中，两个趋势正在加速到来。首先，机器学习作为强大的技术正在被越来越多的示例证明。比如最近很成功的AlphaGo，还有非人类加密（inhuman encryption）都是引人注目的例子。其次，机器学习应用的扩张：机器学习正被应用在更复杂的任务以及更多领域中，而且被更多的人作为挖掘数据的方式。这也是谷歌、微软、Facebook、IBM结成AI联盟的原因。

2. Xavier Amatriain，Quora工程副总裁

2016年或许可以成为“机器学习大热”被载入史册的一年。似乎所有公司都在做机器学习，如果没有，那么就是想着收购一家初创公司来进入这一领域。

公平地说，说机器学习大热是有原因的。你能相信距离谷歌宣布开源TensorFlow才刚刚一年吗？短短一年中，从发现新药到作曲，TensorFlow已经被广泛运用于各种项目中。谷歌并不是唯一一家开源他们的机器学习软件的公司。微软开源了CNTK，百度宣布推出PaddlePaddle，亚马逊近期刚刚宣布将会采用MXNet作为AWS的机器学习平台。Facebook则同时支持两个深度学习框架：Torch和Caffe。另一方面，谷歌也同时支持目前非常成功的Keras。单从这点来看，谷歌和Facebook算是打平了。

除了大肆宣传以及各大公司对机器学习开源项目的支持外，2016年还涌现了很多关于机器学习的应用，而这在几个月之前都很难想象，其中WaveNet语音合成的质量让我印象深刻。过去我也曾经处理过类似的问题，所以非常欣赏Wavenet所取得的成果。此外，机器学习在识别唇语方面取得的成果也很突出，而视频识别的应用预计在不久的将来也会有很多用途，说不定会让人毛骨悚然。还需要提及的是谷歌在机器翻译领域取得的重大进展，这一领域在一年内取得如此多的进展着实令人惊讶。

事实上，机器翻译并不是过去一年中机器学习在语言技术领域取得的唯一进展。近期，为了生成更丰富的语言模型，将深度时序网络与副信息（side-information）结合起来的尝试也很有意思。在“A Neural Knowledge Language Model”一文中，Bengio的团队将知识图谱和RNN（循环神经网络）结合了起来，在“Contextual LSTM models for Large scale NLP Tasks”论文中，DeepMind将主题并入了LSTM（长短期记忆人工神经网络）模型。此外，在模拟注意力和语言模型记忆方面也有很多有趣的工作。这方面的论文，我比较推荐今年在ICML上发表的“Ask Me Anything: Dynamic Memory Networks for NLP”。

如果要为2016年的回顾画上一个句号，那么我不得不提我的专业领域的一些进展：推荐系统。当然，深度学习也影响了这一领域。虽然我仍然不会推荐将深度学习作为推荐系统的默认方法，有趣的是，深度学习已经在推荐系统中被广泛采用，比如Youtube。不过，在与深度学习无关的领域也有一些很有趣的研究。今年ACM Recsys的最佳论文颁给了“Local Item-Item Models For Top-N Recommendation”，它是对稀疏线性方法的扩展，使用的是初始无监督集群。此外，“Field-aware Factorization Machines for CTR Prediction”描述了如何在Criteo CTR Prediction Kaggle挑战中获胜方法，这提醒我们，因子分解机（Factorization Machine）仍然是机器学习工具包里的一个有用的工具。

如果要列出过去12个月中机器学习所取得的进展，估计要好几张纸才能写完。我甚至还没提到图像识别、深度强化学习的突破，以及自动驾驶汽车和围棋游戏方面的重大进展。更不用说机器学习对社会的负面影响，以及因此引起的对算法的偏见和公平性的讨论。

那么，我们对2017年又应该有什么期待呢？这个很难预测，毕竟这一领域的发展速度实在是太快了。我相信，在马上就要召开的NIPS大会上，仅仅消化会议上的内容都会很困难。我个人非常期待在我最关心的领域看到更多有关机器学习的进展：个性化推荐，自然语言处理。我相信，在未来的几个月里机器学习能够解决假新闻的问题。此外，我也希望看到更多的自动驾驶汽车上路，机器学习被应用到健康相关的领域，或者创造信息更自由、更公正的社会。

3. Yoshua Bengio，蒙特利尔大学计算机科学及应用研究系教授，加拿大统计学习算法首席科学家

在我看来，2016年的大事件主要集中在深度强化学习、生成模型、神经机器翻译这三个领域。首先，我们有了AlphaGo（DeepMind的神经网络强化学习打败了世界围棋冠军）。在过去的一整年中，我们看到了一系列展示生成对抗网络（用于生成模型的无监督学习）是多么成功的论文。在无监督学习领域，自相关神经网络（比如DeepMind的WaveNet论文）也取得了很多预想不到的成功。最后，就在一个月之前，我们看到了神经机器翻译（其中一部分是我的实验室2014年开始做的）的加冕：谷歌将这项技术应用到了谷歌翻译中，并取得了显著的成果（非常接近人类水平）。

我相信这些成果都预示着2017年的趋势：无监督学习会取得更多的进展（也存在很大的挑战，在这方面离人类的能力还差得很远），而计算机在理解和生成自然语言方面的能力，估计最先会在聊天机器人和其他对话系统上落地。另一个可能的趋势：将深度学习应用到医疗领域中包括对医疗图像、临床数据、基因组数据等各种类型数据上的研究和成果将会大大增加。随着应用范围的扩大，包括自动驾驶汽车，计算机视觉也会持续取得进展，不过我觉得大家还是低估了实现真正的自动驾驶所要面临的挑战。

4. Pedro Domingos，华盛顿大学计算机科学教授，《主算法》作者

2016年的重大事件当属AlphaGo的胜利。2017年，聊天机器人和自动驾驶汽车可能会取得较大的进展，不过主要是因为很多大公司都在投资这两个领域。从更底层的层面上来说，我们可能看到更多的深度学习和其他的机器学习以及人工智能技术的混用，这是成熟技术的典型标志。

5. Oren Etzioni，Allen人工智能研究所CEO，前华盛顿大学教授，数百篇技术论文的作者

2016年的最大成就非取得巨大成功的AlphaGo莫属。2017年，我们将看到更多的强化学习在神经网络上的应用，以及更多神经网络领域的自然语言处理和视觉的研究。不过，挑战也是并存的，对于神经网络来说，标记的数据有限仍然是个问题，而且需要很长的时间才能解决这个问题。现在对深度学习和更宽泛的机器学习来说仍然处在早期。

6. Ajit Jaokar，#数据科学，#物联网，#大数据，#智慧城市，#教育科技

2017年对物联网和人工智能来说都会是非常重要的一年。就像我最近在KDnuggets上发的文章中说的那样，人工智能将成为企业的核心竞争力。而对于物联网来说，这意味着构建并部署跨平台（Cloud 、Edge、Streaming）。对于AI而言，持续学习意味着持续的进步。

7. Neil Lawrence，谢菲尔德大学机器学习教授

我认为事情正在朝着我们预期的方向发展。深度学习方法正在被智能地部署到大规模的数据集上。对于规模小一点的数据集，我想我们可能会看到模型改造的一些有趣的方向，比如，重新利用预备训练深度学习模型。对于怎样做的更好，还有很多有趣的开放性的问题。另一个趋势就是聚焦这一领域的媒体越来越多，包括Arxiv上尚未审核的的论文中的主流文章。媒体报道的速度在今年预计为会加快，同时，学术界也应该更加注意如何推广他们的工作（比如在社交媒体上），特别是在论文还未经审核的情况下。

8. Randal Olson，宾夕法尼亚大学生物医学信息研究所高级数据科学家

2016年，自动机器学习（AutoML）系统和人类机器学习专家相比开始变得有竞争力。今年早些时候，MIT的一个团队创建了一个数据科学机器，在KDD杯和IJCAI机器学习竞赛中打败了数百个团队。就在这个月，我们的内部AutoML系统——TPOT，在几次Kaggle比赛中都排进了前10%。我相信AutoML将会在2017年取代人类专家进行机器学习分析。

9. Charles Martin，数据科学家&机器学习专家

2016是深度学习的分水岭。2015年底谷歌开源了TensorFlow，随后大量相关应用不断涌现。结合Keras、Jupyter Notebook，以及使用GPU的AWS节点，数据科学团队有了开始创建真正创新的学习应用，并很快陈胜收益的所需要的基础设施。但是他们或许没有相关人才？不过，这不是跟编程无关，也不是建设基础设施的竞赛。这和传统的分析很不相同，没有人真正理解为什么深度学习有用：目前都是谷歌和Facebook在说，高管们在听。2017年，这些公司将会引进最好的深度学习技术来提高自己的能力底线。

10. Mattew Mayo，数据科学家，KDnuggets副主编

2016年的大事件应该是我们正在从深度学习中加速获得回报。AlphaGo“征服”围棋游戏算得上是最突出的例子。展望2017，我希望神经网络能继续取得进展。不过，自动机器学习也会变得非常重要。或许对外界来说，自动机器学习不像深度神经网络那样吸人眼球，但是自动机器学习将会对机器学习、人工智能和数据科学产生深远的影响，而这个影响将会在2017年显现出来。

11. Brandon Rohrer，Facebook的数据科学家

2016年，机器人识别唇语的精确度比人类更高，听写打字的速度比人类更快，而且还可以模拟人类的声音，这些都是探索新颖架构和算法的结果。卷积神经网络正在被改造，并结合强化学习器和时间感知方法来打开新的应用领域。2017年，我预计更多的人类基准会被打破，特别是那些基于视觉、适合卷积神经网络的挑战。同时，我预计（也希望）我们的团队能够进军决策制定的周边领域，非视觉特征创建和时间感知方法将变得更频繁、更富有成果。所有这些使得智能机器人成为可能。如果我们足够幸运，2017年将带给我们一台能够在冲咖啡方面打败人类的机器。

12. Daniel Tunkelang，数据科学、工程、领导力

2016年的最大新闻当属AlphaGo打败人类围棋冠军李世石。就算对AI社区来说，也算的上是一个惊喜，它将会被当成深度学习兴起的爆发点。2016年是深度学习和AI的一年，聊天机器人、自动驾驶汽车、计算机辅助诊断，只要有合适的训练数据，配备足够强劲的计算性能就能解锁这些可能性。2017将带给我们的不仅仅是成功，还会有失望。像TensorFlow这样的技术会把深度学习商业化，AI也将成为消费品中理所当然的东西。但是我们终会到达我们可以建模和优化的极限，而且必须面对数据中的偏差。我们会继续成长，然后意识到我们距离通用的人工智能或者奇点还很远很远。

via  KDnuggets

对大数据领域感兴趣的读者，请查看雷锋网相关文章：《大数据领域在2016年都有哪些成果及趋势？听听8位专家怎么说》。

【招聘】雷锋网坚持在人工智能、无人驾驶、VR/AR、Fintech、未来医疗等领域第一时间提供海外科技动态与资讯。我们需要若干关注国际新闻、具有一定的科技新闻选题能力，翻译及写作能力优良的外翻编辑加入。 

简历投递至 wudexin@leiphone.com，工作地 北京。

雷锋网版权文章，未经授权禁止转载。详情见。