#Sentence Level, binary RE between given named entities(NE)#

Background

  • 论文动机

    • 作者发现一句话中针对实体提及可能会包含不止一个关系(多标签?)
    • 已有关系会对目标实体对之间的关系产生影响,即可由关系推导出关系;不同关系之间往往会存在一定的联系,即目标实体对的关系会收到同一句话其他关系的影响;

    image-20201126112227804

  • 论文贡献

    • 在不利用任何外部语法工具的情况下表现 SOTA;
    • 模型可以同时(simultaneously)生成句中每一实体对的表示( a representation for each pair in the sentence);
    • 提出了一种迭代算法来生成实体(距离为)之间唯一的表示;

Model

基于实图的神经关系提取模型,该模型以图的方式来表达一句话中多个实体间的多种关系,其中实体被表示为图中的节点,试图间的关系则构成图的定向边,模型使用一个实体以其上下文初始化实体间的边,这样任意两个实体之间就会形成多个边连接组成的、长度不一的多跳路径。模型通过迭代的方式,将两个实体之间的多条路径逐渐聚合为一条路径,该路径对应于实体关系的最终表示。

image-20201126144940767

  • Embedding Layer

    生成维度为 , , 的vectors,分别对应于words, 实体的语义类型,目标实体对的相对位置;

  • Bidirectional LSTM Layer

    Each sentence的词嵌入经过BILSTM得到新的词嵌入 ,对于每一个word,将BILSTM的两条方向的输出进行concat得到的新表示维度为;

  • Edge Representation Layer

    BILSTM的输出包含两个部分:

    (i)目标实体对的表示(target pair representations)

    ​ 实体若由 个单词组成,则求该平均值作为实体的BILSTM 向量;

    image-20201126193629617

    (ii)目标实体对的上下文表示(target pair-specific context representations)

    image-20201126210956239

    image-20201126210919476

    denotes a trainable attention vector.可训练向量;

    Attention 模块计算:

    image-20201126211428508

    Representation of an edge: 降维作用

    image-20201126211040390

  • Walk Aggregation Layer

    The goal of the layer: 面向实体间存在有限多路径的情况生成一个唯一的表示;

    one-length walk <=>

    • Walk Generation

      A directed entity graph :

      image-20201126215608454

      image-20201126213846825

    • Walk Aggregation

      合并 初始路径 (length 1-to-; direct edge) 与 额外路径(extended walks, length two-to-2; indirect edge)

      image-20201126215844534

      image-20201126213915213

      表示更短路径的重要程度,越短的路径与最终边的表示越相关,很好理解;

      image-20201126224248659

  • Classification Layer

    共计关系,1为 no relation;

    image-20201126224338313

Experiment

  1. 数据集 ACE 2005

    7 entity types, 6 relations type;

  2. 实验结果(就这点实验结果能发出去???这篇文章真的一般….)

    image-20201126233346665

    针对句中出现不同实体数量的对比实验:

    image-20201126233358199

    image-20201127103447775

    结论:

    在多实体对句中,walks的方法远超SPTree;更短的walk路径对最终的表示更有效;过长的walk()对于最终的边表示是没有意义的(no-meaningful)

    • Longer walks improve performance, but —More entities do not necessarily need longer walks

    • Walks can improve the detection of related pairs(召回率指标)

    • Relations between NE pairs are encoded with walks(这个体现了吗??)

      A:应该是多个 walk Aggregation,代表的是建模关系之间的联系 encoded

    • Too long relation walks (≥ 6-length) are hard to interpret, even by humans