Path-Based Attention Neural Model for Fine-Grained Entity Typing

08-10

來自專欄西土城的搬磚日常4 人贊了文章

source: AAAI2018

Abstract:

Fine-grained entity typing：旨在推斷文本中的分層結構式的實體類型，例如：

sentence -> ("person", "politician")。

傳統的基於遠程監督的方法採用結構化數據源作為弱監督，不需要手工標記數據，但忽略了自動標註的訓練語料庫中的標籤雜訊。儘管最近的研究在訓練之前使用許多特徵來修剪錯誤的數據，但它們會因錯誤傳播而受到影響並帶來很多複雜性。本文作者提出一種基於實體類型路徑的端到端的模型，通過結合實體路徑類型嵌入提升魯棒性。實體類型路徑即("person", "politician")。本文的創新點也在於，假設一個sentence可以推斷出子類型，則其必能推斷出父類型，即增強其泛化能力。

Example：Donald Trump 在KB中有三個實體類型(person, businessman, politician),但是在sentence(Donald Trump announced his candidacy for President of US.)，只能推斷出(person, politician)，另一個標籤businessman就是噪音。

Model:

標籤定義： $S_{e} = (s_{1}, s_{2}, ...,s_{n})$ 是包含實體類型 $t_{e}$ 的n個句子， $t_{e} in T_{e}$ 是實體類型

LSTM：首先，用LSTM學習sentence representations
Path-based attention: 然後我們利用attention機制整合sentence representation，定義標籤路徑為 $p_{t_{l}} = t_{1} ->t_{2}->...->t_{l}$ ，本文採用兩種方式構建實體路徑，加法(PAN-A)和乘法(PAN-M)。其中每個實體類型用其keyword embedding 表示。公式如下：

classification layer: 分類層

Experiment：

dataset: OneNotes & FIGER(GOLD)

實驗結果：

實驗結果證明加法式的路徑構建方式更優。

Conclusion: 本文的主要創新點在於利用父類型結合attention機制來提升準確性及魯棒性（泛化能力），其主要推斷->若一個sentence可以推斷出子類型，則其必能推斷出父類型，非常適合提升泛化能力，想法簡單但很有效。