清华大学韩旭：神经关系抽取模型 | AI研习社71期大讲堂

雷锋网(公众号：雷锋网)AI研习社按：关系抽取是自然语言处理中的重要任务，也是从文本中挖掘知识的基本途径之一。深度学习在关系抽取中的研究在近几年取得了广泛关注，其中基于远距离监督、带有注意力机制的神经网络模型成为解决问题的主要方法。在本次公开课中，讲者将梳理神经模型在关系抽取中的发展脉络，并分享相关领域的最新工作进展。

分享嘉宾：

韩旭，清华大学计算机系在读博士，导师是刘知远副教授，主要研究方向为自然语言处理，知识获取等。其研究工作曾在 AAAI、COLING、EMNLP 等发表。

公开课回放地址：

http://www.mooc.ai/open/course/548?=Leiphone

分享主题：神经关系抽取模型

分享提纲：

• 深度学习在关系抽取上的发展脉络。

• 基于注意力机制的神经关系抽取模型的剖析。

• 相关领域的最新工作进展的介绍。

雷锋网AI研习社将其分享内容整理如下：

今天主要讲关系抽取领域的神经模型的发展近况，首先，给大家科普一下背景知识。

关系抽取属于信息抽取领域的子任务，主要的功能是让机器从一句话中抽出给定实体，并厘清相应关系，主要用于拓展知识图谱，把无结构的自由文本变成结构化数据。

在传统任务当中，我们会把关系抽取当作分类过滤器，先人为定义好关系，接着输入标注好实体的文本，然后判断文本属于定义关系中的哪一类。在某种程度上我们可以认为这是一个有监督的分类问题。

到了 2013 年，神经网络模型被运用到关系抽取领域里，也就是将句子作为特征放到神经网络里，通过神经网络习得特征来做分类。

这些模型存在一个问题，那就是需要大量的高质量数据和人力投入，代价较高，因此在推广上面临困难。

为了解决这个问题，远程监督的概念应运而生，它引入了这么一个假设：两个实体如果在外部的知识图谱中存在关系，那么包含该实体的句子就是图谱中的对应关系。通过这种启发式的方法，机器可以自动标注许多数据，再用于训练分类器做关系抽取。

远程监督的优势在于无需人工操作，且能普适大规模数据，然而却面临着噪音问题。

怎么解决这个噪音问题呢？

第一个方法是引入多实例学习，将所有包含同样实体的句子放到一个包（bag）里，在有需要时对包里的句子进行特征提取，进而预测实体之间的关系。

2015 年的一项工作把远程监督与多实例学习结合起来，从那时开始，关系抽取领域的关键模型基本上都由远程监督+多实例学习+神经网络组成。

注意力机制模型

这是我们实验室一个学长在 2016 年开展的一项工作，主要针对多实例学习中存在的噪音问题，通过引入注意力机制给包（bag）下的句子赋予权重，有效增强预测效果。

【更多关于注意力机制模型的运作原理，请回看视频 00：16：53 处，http://www.mooc.ai/open/course/548?=Leiphone】

 

 

从实验结果上看，添加注意力机制确实可以有效提升模型的效果。（黑线为增加了注意力机制的模型）

 

从 2016 年开始，关系抽取领域的关键模型在原来的远程监督+多实例学习+神经网络模型基础上，再增加一个注意力机制。

拓展模型

一、 引入实体的描述信息来构建注意力机制

该工作将句子中的实体与对应的描述文本的词向量进行处理后得到两个特征，接着对两个特征做减法获得潜在关系，最后把潜在关系作为注意力机制的向量。

二、 引入软标注机制

为了解决错误标注的问题，该工作给每个关系设置一个置信度，训练的过程中一旦发现预测的关系与原来标注的不一致，且置信度比原来的要高的话，就会默认原来的标注存在问题，并以新的预测关系进行替代。

三、 引入对抗训练

通过刻意给句子制造噪音，无形中增强模型的抗噪能力。

四、 抽取多个实体之间的关系

针对一大段文本中的多对实体进行关系抽取。这是业界未来一个可能的研究热点，因为和我们人类日常的认知机制比较接近。

五、 融入知识表示模型

将知识图谱模型与关系抽取模型放在一块做联合训练，进而作为注意力机制起降噪作用。在这过程中，文本还可协助图谱进行完善和校正。

六、 融入知识图谱的结构信息

通过引入知识图谱的关系层次结构（主副关系等），构建一个从粗粒度到细粒度的注意力机制特征。

七、 跨语言关系的抽取

该工作的核心思路在于利用不同语言之间的注意力机制，给彼此的文本做跨语言的权衡计算。跨语言关系抽取的好处在于，可以有效利用语言之间的互补性，比如中文里较少的关系特征数据，可用英文数据来进行补充。

八、 跨语言关系的抽取（升级版）

通过设立单独语义空间和跨语言统一空间，并引入对抗训练，优化最终跨语言关系的提取效果。

九、 基于 few-shot learning 的研究场景

为了解决远距离监督的长尾数据问题，该工作通过构建一个人工标注的少样本数据集，让机器可以通过较少的样例进行学习推理。不过该工作目前更多应用在图像领域，自然语言领域有较大的发展空间。

最后给大家推荐一些相关资源。

前三项是我们组发完论文后的一些模型实现，后两项则是一些零零散散的工作开源代码。

我今天的分享就到此为止，谢谢大家！

以上就是本期嘉宾的全部分享内容。更多公开课视频请到雷锋网AI研习社社区（https://club.leiphone.com/）观看。关注微信公众号：AI 研习社（okweiwu），可获取最新公开课直播时间预告。

。