深度学习理论研究已进入瓶颈期？看看李飞飞们怎么说

AI圈推特红人，Keras框架的作者François Chollet又搞大新闻了！近日François Chollet在推特上发推称：“深度学习研究已经进入了瓶颈期。将深度学习应用于解决现实生活问题的应用正在迎来一个大爆发。”

这条推特下很快获得了上千个赞、数百转发，以及一系列热烈讨论。从回复中看，不少回复者（尤其是产业界人士）认为，“深度学习进入平台期”的提法值得商榷，雷锋网节选了其中几条：

Buzzfeed首席数据科学家、哥伦比亚大学客座助理教授Adam Kelleher：

会不会这只是社交网络造成的样本偏差？

Machinebox.io创始人David Hernandez：

在我看来在“实际问题”的应用上还是很有限。我和不少人聊过，他们往往做的是Chatbot、欺诈检测或者推荐这三类应用之一。

爱丁堡大学助理教授、艾伦·图灵学院Fellow Charles Sutton‏：

我们能不能先讨论整个深度学习的繁荣时代是否已经到来？

Google Research研究员David Berthelot：

我觉得如果你写一篇长文章来解释一下，为什么你认为现在的深度学习已经进入平台期，这对于我和其他读者来说更有启迪性。

CarrerBuilder大数据首席研究员Faizan Javed：

增强学习难道不是新的热点吗？

而Google Cloud机器学习负责人斯坦福大学副教授李飞飞则赞同François Chollet的观点，但同样表示深度学习还有很长的路要走：

同意！大浪淘沙，最后只有少数工具青史留名；学无止境，（深度学习）无论在智力、人力或机器设备方面，都还有很长的路要走。

那么其他人怎么看呢？雷锋网就深度学习的理论研究进展与实际应用趋势征询了若干专家的意见：

微软亚洲研究院主任研究员郑宇表示，深度学习爆发的瓶颈在人工智能技术与传统行业的对接：

我部分认同这个观点。目前的数据、技术和基础设施确实已经成熟，可以迎来未来应用的爆发，但能否爆发的瓶颈可能不在技术本身，而在于人工智能技术与传统行业的对接。AI的未来不在IT业，而在于AI跟广大传统行业的融合，如交通、规划、能源、环境、物流、制造和金融等。AI从业者需要学习传统行业知识，理解传统业务的逻辑和痛点，并懂得用传统行业的语言跟行业专家对接。既要帮助革新传统行业，也要懂得尊重传统行业，这需要有很强综合实力的数据科学家。此类复合型人才的培养非常困难、周期长、且不容易量产，可能会成为制约AI大爆发的真正瓶颈。

地平线机器人创始人、前百度研究院副院长余凯对雷锋网(公众号：雷锋网)表示，深度学习理论研究的主流架构会收敛，很难有革命性的理论突破：

基本认同这一观点。未来学术研究还是会基于当前研究持续进行，但是不会有革命性的，大家的主流架构会收敛，所以后续的重点是深度神经网络在各个具体应用场景的落地部署。

密苏里科大助理教授傅衍杰则用PHP框架化编程类比现在这一波深度学习：

基本同意这两个观点。类似web系统, 当年PHP大行其道，就是因为许多人用PHP编程语言，基于MVC的设计模式，设计了许多web编程框架。现在，深度学习也类似的涌现了许多编程框架 ，比如Tensor flow, Theano, Keras, Torch等等。这些框架使得Deep Learning变得更加易用，实现起来的编程工作量更小，出现错误的可能性更低。所以深度学习的确进入了一个平台期。

结合数据挖掘的研究思路，深度学习通过层次化的学习模型，对研究对象进行表征学习，等于使用隐式的办法去完成表征这一步骤。所以，深度学习是可以放入感知-表征-建模-应用，这么一个很实用也很接地气的解决问题的思路中的。

华为诺亚方舟实验室研究员李震国认为，理论往往是超前于应用的，计算能力的提升和大数据的出现正是印证了之前算法和理论的有效性：

我同意他的观点。不是理论取得了突破，而是算法的有效性由于计算能力的提升和大数据的出现获得了验证。应用会一直是机器学习的重点，同时理论和可解释性会一直被探索。除了GAN, deep meta-learning也值得关注。

密歇根州立大学助理教授汤继良认为，深度学习工程化的门槛越来越低，而理论的门槛越来越高：

深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷，快速甚至可视化的深度学习平台，和adapt 甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化：解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是：工程化的门槛越来越低，而理论的门槛越来越高。所以我还是基本认同他的观点 ，但是我们也非常地期待深度学习理论上的突破。

中科院自动化所副研究员张家俊认为，深度学习还未有真正的爆发性大规模成功应用：

我对深度学习理论没深入研究，无法判断理论研究的趋势，不过在应用方面，显然深度学习还未有真正的爆发性大规模成功应用，我觉得在各种实际应用问题中爆发应该是一个趋势。在应用方面，关键的是针对特定应用，理解该领域的数据、场景和背景知识，选择合适的深度学习方法，而不是鲁莽地拿来即用。

结语

雷锋网认为，如果从历史的发展来看，当前深度学习领域的经典算法和理论往往都是已经提出了一段时间，而随着计算能力和数据规模的发展，这些经典理论和算法逐步得到了验证。如果从深度学习的问题和挑战、以及解决问题的思路来说已经发展得比较完备，因此说深度学习“进入平台期”也是不无道理。但从另一个角度看，进入“平台期”的可能是一些深度学习的经典问题，但如果对于这些经典问题继续深入研究，或许能够从中发现之前没有想到的解决方法（例如，在ImageNet图像识别上，在Alex Krizhevsky用GPU死磕将效果大幅度提升之前，大部分人应该都不会想到AlexNet）。正如李飞飞所言，学无止境，深度学习还有很长的路要走 。

。