Background

代码链接 https://github.com/DreamInvoker/GAIN,其性能相较 ACL 2020中的文档级关系抽取模型LSR有一定的提升,其能够有提升的主要原因在于两点:

  • 双图
    • mention-level Graph: model complex interaction among mentions across sentences with heterogeneous mention-level graph (hMG) 异构图相较之前一些构建同质图做特征传播的模型,使用异质图可以融合更复杂的特征;
    • Entity-level Graph: merge mentions that infer to the same entity;
  • A novel path reasoning among entities.新颖的路径推理机制

Model

image-20201117111356422

  • Encoding Module

    image-20201117111907096

    $E_{w}(\cdot), E_{t}(\cdot)$ and $E_{c}(\cdot)$ 记作 word embedding layer,entity type embedding layer, coreference embedding layer ; $t_i$ 和 $c_i$ 是name entity type and entity id;

    以句子为单位,使用LSTM/BERT对文本进行编码,以LSTM为例,将每个单词的词向量、实体类型编码(如果单词不属于实体提及就设为None)、共指编码拼接作为输入:

    image-20201117112921682

  • Mention-level graph 异构图-提及图特征聚合

    两种节点:提及节点、文档节点

    三种类型边:

    • Intra-Entity Edge: 连接同一实体提及;
    • Inter-Entity Edge:同一句话下的不同实体提及;
    • Document Edge:所有的提及都连接到文档节点(话说可以解决长距离的依赖问题?因为所有的提及节点都可以通过文档节点和其余的提及节点相连接。以文档节点为轴心,两个提及节点之间的距离最长为2)==可以算做是小技巧/小创新?==

    Aggregate the features from neighbors:

    image-20201117162507795

    Concatenate hidden states of each layer:(==可借鉴,加个注意力??==)

    image-20201117162159021

  • Entity-level graph 实体图关系推理

    在Entity-level graph(EG)中忽略掉了hMG中的文档节点,同一实体的不同提及被归为实体节点:

    image-20201117220827208

    将有关系的两个实体相连(若两个实体的提及之间有关系<即有相连边>则这两个实体就有关系),从而得到EG中的边。

    image-20201117221632649

    基于上述边的表示,以实体$e_o$作为中介节点,从头实体$e_h$到尾实体$e_t$之间的第$i$条路径表示为:

    image-20201117222618578

    由于两个实体间的路径可能有多条,所以需要有对多条路径的融合机制,GAIN采用注意机制,利用$(e_h,e_t)$作为query,融合$e_h$和$e_t$之间不同路径的信息。

    image-20201117223221792

    在实体图关系推理模块中,一个实体通过融合其提及的信息来表示,这些提及信息通常在多个句子中,因此这种提及向量的融合方式实现了一定程度上的跨句信息传播。

    ==此外,潜在的推理逻辑由实体间的不同路径来建模。然后将它们与注意机制相结合,这样就可以根据潜在的逻辑推理链来预测关系。==(远距离建模实体关系,唉,应该是借鉴了2018的walk-based model)

  • Classification Module

    对于每个实体对$(e_h,e_t)$,连接三种表示作为关系向量的表示:

    • 实体图中导出的头尾实体表示$e_h$和$e_t$,使用比较运算(comparing operation)增强特征,即两个实体表示之间差的绝对值。

    • MG中的文档节点表示,有助于聚合跨句信息,提供文档感知表示;

    • 在实体图(EG)中得到的综合推理路径向量 $p_{h,t}$

      image-20201117231249384

    我们定义这个任务为一个多标签分类任务:

    image-20201117231815826

    $W_a,W_b,b_a,b_b$可训练参数;

    Classification loss:

    image-20201117232126114


Experiment

  • 实验结果

    image-20201117232555442

  • 消融实验

    image-20201117233031331

    也就是三个创新点:

    1.异质图 2.路径推理机制 3. document node

  • 分析和讨论

    • 跨句关系性能表现

      image-20201117233726001

      hMG对于跨句间的关系事实有重要作用。

    • Infer-F1,which only consider relations that engaged in the relational reasoning process.

      image-20201117233921194

      ==推理机制对于捕获潜在的推理链上实体关系事实有着重要作用。==—一种更加直观的推理方式。