小白不知从何入手认知机器学习？Shakir Mohamed 授你锦囊妙计

导读：如何让机器学习从环境中自主学习和思考是科学家们正努力探索的目标。本文的一些想法说不定可以为研究带来一丝灵感。

注：本文译自 The Spectator，作者为 Shakir Mohamed 。文中所有观点均为原作者提出，不代表本网站和本人观点。Shakir Mohamed 是研究统计机器学习方面的科学家。主攻贝叶斯推理，变分推理，深度学习，强化学习。

认知机器学习

机器学习中最不缺的东西就是灵感来源。至少对我来说是这样的，它使机器学习变成了有价值且令人兴奋的领域。我们从统计学方面传统的相邻领域获取灵感，如信号处理、控制工程、信息理论，和统计物理。我们的运气一直都很好，且我们可以从很多其它科学领域获得更多的灵感，如生物和进化系统，以及对其来说重要的东西，认知社会学、心理学和神经科学。

我以前探索机器学习的重要灵感来源是神经科学、解密预测所扮演的角色、稀疏性，以及搭建学习系统时的模块化和互补学习。除了学习系统外，也有其他技能可以在更高层次的对其进行更好地理解，从认知科学的角度进行研究。

在该系列中我想探索的主题有四个，且我认为是其中最重要的探索是：

1.因果推理。我们怎样才可以建立能从因果和影响中学习，并检测因果关系的机器学习系统。人类在这方面的能力非常强，我们将探讨认知系统中因果感应，反事实推理和因果学习的方方面面。在机器学习中我们可以将其联想为影响图中的推理，和有向非循环图中的推理。

2.科学家一样的代理。对于人类来说，我们在不断探索和学习周围的事物。我们产生假设，验证它，并从中学习。赋予机器学习这样的侦查能力，它将引领我们检验溯因推理，主动学习，贝叶斯优化，和 Bandits 。

3.认知语义。人类是如何学习意义并建立知识、对象和关系的概念。我们可以将理解从认知科学结合到统计学关系 AI，更为广泛的关系学习、模块和社区发现。

4.形成思想的理论。人类身处社会，并从中学习和获取知识。我们的认知工具包括归因论、意向代理论和理论论。我们可以将其与经济学，博弈论和多智能体系统中广泛的思维结合起来。

该系列大体框架的描述

为了更好地描述认知的概念，以及它们与机器学习之间的关系，我将把讨论分成两部分。第一部分将处理认知科学，并提供以下描述：

→ 认知观察。首先，显而易见的是我们会观察众多认知任务中的一个，并从人生经验和观察到的东西找到证据。

→ 认知灵感。我们将精炼认知的证据以形成认知原则，这也将是研究机器学习系统的启示之一。

第二部分将探讨机器学习，这一块我将使用模型推理算法的框架，这也正是我在每一篇博客文章中惯用的形式：

→ 概率模型。我们用属性具体化概率模型，结构化假设出我们认为是该问题的最佳描述，和最期望看到结果的原始信息。

→ 推理原则。模型的选择、假设的类型、近似、计算和精度，限制了我们必须有效的选择推理原则，我们用其连接模型中所观察的具体化数据

→ 算法。任何选择的模型和推理都可以用许多不同的方式实现，描述特定建筑组件的算法也一样，所使用的计算类型，以及如何利用计算平台。

现存的认知框架

我将使用的描述框架简单的结合了认知科学和机器学习，以方便对其进行描述。但认知科学有着丰富的概念框架，它有助于理解不同的认知现象。其中有三个框架总能提供灵感：

1.分级认知结构

在1976年，Newell 和 Simon 通过三级层次解密了这种复杂的认知过程，它们被称为分级结构。其三级结构是：

1.知识层。通过推动目标和分析实现所需要的知识库解释代理的行为。

2.象征层。代理的知识和目标将被编码到象征结构中，它可以用不同的方式连接，并操纵以实现目标。

3.物质层。象征层结构和它们的操纵被放入到物理结构中。

2.Marr的分析层次

Marr's levels 的影响力非常大，且我发现在探索神经科学与机器学习之间的联系时，它非常有效。Marr's levels 与 Newell 和 Simon 的理论非常相似：

1.计算。处理需要通过代理来实现的高层次的任务。

2.算法。指定如何解决计算问题。

3.实施。确定的解决方案必须可以在大脑中实现。

3.Sun的现象学层次

该框架主要集中于认知现象而不只是个框架，并鼓舞我们从整体上在物理和社会学两个层次思考代理和其环境之间的关系。我们可以使用四种现象的层次结构：

1.社会学。集体行为代理非常很重要，该层次解释了代理之间的关系和社会文化进程。

2.心理学。重点是个体代理的行为、信念、知识、概念和它们拥有的技能。

3.成分学。认知功能由几个组件组成。我们可以指定一个认知结构（例如，ACT-R，CLARION,，NEF），计算范式（例如，符号，联结，贝叶斯），和可以考虑到的潜在生物约束。

4.生理学。实现生物基质中任何确定的组件。

还有其他的框架，抽象的认知结构和合理分析也很常用。

结语

认知科学是一大市场，我们可以把机器学习和统计结合到神经科学，甚至是哲学。还有很多其它的东西，我希望在这一系列的过程中，可用提炼出很多的想法，以作为未来机器学习系统的强大灵感源泉。

Via：The Spectator