Facebook团队新成果Modout：通过随机正则化方法进行多模型架构学习

近日雷锋网(公众号：雷锋网)了解到，Facebook团队与圭尔夫大学及里昂国立应用科学学院推出了新作，Fan Li 与Natalia Neverova, Christian Wolf, Graham Taylor等一起提出了一种创新的方法，提高了多模型下深度学习的效果。

Facebook原文链接：https://research.fb.com/publications/modout-learning-multi-modal-architectures-by-stochastic-regularization/

论文链接：http://www.uoguelph.ca/~gwtaylor/publications/modout.pdf

论文阐述了通过随机正则化方法进行多模型架构学习新方法Modout，并介绍了已有的基于随机正则化的模型选择方法，通过论证和实验数据，表现了Modout的优越性。

雷锋网了解到，基于随机正则化的模型选择方法因其简单性和有效性已经广泛应用于深度学习中。其中非常有名的drop-out，以相同的方式处理每个单元，包括可见的、隐藏的，有一定几率的让一半的特征检测器停过工作，提高网络的泛化能力，也因此，忽略了与网络分组和结构相关的任何先验信息。这种结构存在于多模式学习的应用中，比如情感分析和手势识别。在这些应用中，每一个子数据集都可能需要对应一个单独的学习模式。

团队向大家介绍一种新的方法，Modout。Modout是一种基于随机正则化的模型选择方法，它在多模型设定中特别有用。它与其他随机正则化方式不同的地方在于，在同一层网络中，它可以有效的通过学习判断是否要或什么时候将两种模式进行融合。而在一般情况下，这种机制通常都是深度学习的研究者们和实践者们预先设置好的架构层面的高级参数。

在Li的论文中，Modout在两种实际的多模型数据组中得到实现，而其实验的结果可以看到Modout相对于其他随机正则化方法的优越性。除此之外，Modout在Montalbano数据中表现出了与学者设计的最先进的深度学习架构比肩的实验效果。

via Facebook，雷锋网编译

AI科技评论招业界记者啦！

在这里，你可以密切关注海外会议的大牛演讲；可以采访国内巨头实验室的技术专家；对人工智能的动态了如指掌；更能深入剖析AI前沿的技术与未来！

如果你：

＊对人工智能有一定的兴趣或了解

 * 求知欲强，具备强大的学习能力

 * 有AI业界报道或者媒体经验优先

简历投递：

lizongren@leiphone.com

雷锋网版权文章，未经授权禁止转载。详情见。