Hinton亲自讲解迄今未发表工作：胶囊理论的核心概念到底是什么？

雷锋网AI科技评论消息：近日，在加拿大多伦多大学向量学院发起的“2017 – 2018年机器学习进展与应用”研讨会上，神经网络之父Geoffrey Hinton做了一场报告《What is wrong with convolutional neural nets?》，在报告中Hinton讲解了他多年来一直在做的研究工作，他称之为“胶囊理论”（capsules theory）。

在报告中，他认为“标准神经网络”与真实的大脑神经网络相比有以下四个问题：

1、池化过程并没有很好地模仿大脑中形状知觉的心理过程——它不能解释为什么我们人类能将内在的坐标系映射到物体上，以及为什么这些坐标系这么重要；

2、池化解决的问题是错的——我们想要的是信息的同变性而不是不变性，是理清信息而不是丢弃信息；

3、池化没有利用底层线性结构——它没有利用在图形中能很好地处理方差最大来源的自然线形流形。

4、池化在处理动态路由时很差劲——我们需要将输入信息的每一部分路由到知道如何处理它的神经元中，找到最佳的路径就是在解析图像。

Hinton提出了他“胶囊”（capsules）的概念。简单地说，这些“胶囊”就是在神经网络中构建和抽象出的子网络。什么意思呢？一个标准的神经网络，层与层之间是全连接的（也就是说，层1中的每个神经元都可以访问层0中的每个神经元，并且其本身也可以被层2中每个神经元所访问），但这些连接并不一定都是有用的。“胶囊理论”的方案是，神经网络由n个子网络（胶囊）构成，每个胶囊都专注于做一些单独的任务，胶囊本身可能需要多个层网络来实现。其输出包括物体所属类型的概率以及物体的状态信息（比如位置、方向、大小、形变、速率、颜色等）。低层次胶囊输出的参数会被转换成高层级胶囊对实体状态的预测，如果预测一致，则输出这一层次的参数。

一个典型的胶囊将从多个低层次的胶囊中获得信息（多维预测向量），然后寻找一个预测的紧致束（tight cluster of predication）。如果它能够找到这个紧致束，那么它就会输出实体在这个域内类型存在的较高的概率，以及生成状态的重心（状态平均值）。这种方式可以很好地过滤掉噪声，因为较高维度的巧合发生的概率很小，所以胶囊的方法要比“标准的神经网络”好很多。Hinton说，他这种“胶囊”的想法是受到脑科学中对“迷你列组织”（mini-column organization）研究的很大的启发。

此外，据雷锋网了解，关于“胶囊理论”的研究Hinton已在多个场合做过类似的报告，不过目前Hinton好想并没有打算把他的研究成果发表出去，因为他觉得现在的研究还没有让他满意——那么，当他对这项研究满意的时候，会不会再次成为“the Father of ……”  ？

雷锋网(公众号：雷锋网)注：资源链接——

1、What's wrong with convolutional nets? @MIT TechTV(2014年在“脑与认知科学”研讨会上的报告视频，内容类似)

2、Hinton未发表工作：Transforming Auto-encoders（PDF）

。