#Sentence Level, binary RE between given named entities(NE)#
Background
论文动机
- 作者发现一句话中针对实体提及可能会包含不止一个关系(多标签?)
- 已有关系会对目标实体对之间的关系产生影响,即可由关系推导出关系;不同关系之间往往会存在一定的联系,即目标实体对的关系会收到同一句话其他关系的影响;
论文贡献
- 在不利用任何外部语法工具的情况下表现 SOTA;
- 模型可以同时(simultaneously)生成句中每一实体对的表示( a representation for each pair in the sentence);
- 提出了一种迭代算法来生成实体(距离为)之间唯一的表示;
Model
基于实图的神经关系提取模型,该模型以图的方式来表达一句话中多个实体间的多种关系,其中实体被表示为图中的节点,试图间的关系则构成图的定向边,模型使用一个实体以其上下文初始化实体间的边,这样任意两个实体之间就会形成多个边连接组成的、长度不一的多跳路径。模型通过迭代的方式,将两个实体之间的多条路径逐渐聚合为一条路径,该路径对应于实体关系的最终表示。
Embedding Layer
生成维度为 , , 的vectors,分别对应于words, 实体的语义类型,目标实体对的相对位置;
Bidirectional LSTM Layer
Each sentence的词嵌入经过BILSTM得到新的词嵌入 ,对于每一个word,将BILSTM的两条方向的输出进行concat得到的新表示维度为;
Edge Representation Layer
BILSTM的输出包含两个部分:
(i)目标实体对的表示(target pair representations)
实体若由 个单词组成,则求该平均值作为实体的BILSTM 向量;
(ii)目标实体对的上下文表示(target pair-specific context representations)
denotes a trainable attention vector.可训练向量;
Attention 模块计算:
Representation of an edge: 降维作用
Walk Aggregation Layer
The goal of the layer: 面向实体间存在有限多路径的情况生成一个唯一的表示;
one-length walk <=>
Walk Generation
A directed entity graph :
Walk Aggregation
合并 初始路径 (length 1-to-; direct edge) 与 额外路径(extended walks, length two-to-2; indirect edge)
表示更短路径的重要程度,越短的路径与最终边的表示越相关,很好理解;
Classification Layer
共计关系,1为 no relation;
Experiment
数据集 ACE 2005
7 entity types, 6 relations type;
实验结果(就这点实验结果能发出去???这篇文章真的一般….)
针对句中出现不同实体数量的对比实验:
结论:
在多实体对句中,walks的方法远超SPTree;更短的walk路径对最终的表示更有效;过长的walk()对于最终的边表示是没有意义的(no-meaningful)
Longer walks improve performance, but —More entities do not necessarily need longer walks
Walks can improve the detection of related pairs(召回率指标)
Relations between NE pairs are encoded with walks(这个体现了吗??)
A:应该是多个 walk Aggregation,代表的是建模关系之间的联系 encoded
Too long relation walks (≥ 6-length) are hard to interpret, even by humans