《Assertion-based QA with Question-Aware Open Information Extraction》閱讀筆記

標題：《Assertion-based QA with Question-Aware Open Information Extraction》

論文來源：AAAI 2018

原文鏈接：原文鏈接

聲明：轉載請註明出處：學習ML的皮皮蝦-知乎專欄

Introduction

開放域問答(Open-QA)是自然語言處理中的長期任務。本文提出基於assertion（斷言）的開放域的問答任務 (ABQA)。模型對於給定的問題q和段落p輸入, 根據輸入的段落P來回答問題q，輸出一個包含主語、謂語和賓語的半結構化的assertion答案。

與以短片段為答案的問答相比，assertion傳達更多的支持的依據，更明確地揭示了文本中所包含的知識，與以段落為答案的問答相比，assertion更加簡潔，這些優勢使 ABQA 更適合人機交互場景。ABQA與機器閱讀理解和回答段落選擇任務也有聯繫。

而要進一步改進 ABQA ，本文提出了一個叫做 WebAssertions 的新數據集。此外，本文使用了生成式和抽取式的答案生成方法。生成式方法基於Seq2Seq。為了捕獲輸出assertion的結構，我們引入了一個分層解碼器。它首先生成assertion的結構，然後生成每個欄位的詞。

抽取方法是基於學習排序技術。不同粒度的特徵被設計用來評價問題和assertion的語義相關性。

結果表明，本文提出的方法有能力從一段話中推斷出具有問題感知的assertion。將ABQA 結果作為額外的特徵加到基於段落的問答中，也能改善及準確度。

Contribution

本文的貢獻主要有以下幾點：

1、我們提出了 ABQA 的任務, 它使用基於文檔內容的assertion回答問題。我們為 ABQA 創建了一個人工標記的語料庫。

2、我們通過引入帶有分層解碼器的Seq2Seq的模型來生成assertion。我們還研發了 ABQA 的抽取式方法。

3、驗證我們的方法在 ABQA 和 PBQA 任務中的有效性。

Model

生成式方法Seq2Ast 是基於Seq2Seq的。Seq2Ast比Seq2Seq多一個多層解碼器，它首先通過元組級解碼器生成assertion的架構, 然後生成詞級別解碼器的單詞。

抽取式方法以學習排名為基礎，將候選assertion按照不同層級的匹配特徵排列。

Seq2Ast: ABQA 的生成式方法

本文開發了sequence-to-assertion (Seq2Ast)的方法來為 ABQA 生成assertion。Seq2Ast 的骨幹是 (Seq2Seq) 。ABQA 任務的主要特點是輸出是assertion，由一個列表的欄位組成，每個欄位包含一個單詞列表。為了解決這個問題，我們提出了一個分層解碼器, 它首先通過一個元組級的解碼器生成assertion的每個欄位，然後用詞級的解碼器為每個欄位生成單詞。在 Seq2Ast 中, 元組級的解碼器記憶assertion的結構，詞級的解碼器的學習每個欄位中的短依賴項。

本文使用GRU作為元組級的解碼器，用於輸出assertion的每個欄位。在基於元組的解碼器之上，我們使用另一個GRU作為詞級解碼器來生成每個欄位的單詞。

為了生成第k個欄位的 s(t)k , 元組級的解碼器採用詞級解碼器的上一時刻的狀態

s (w )k - 1 ，Jk-1來更新其隱藏狀態 s (t )k：

欄位表示作為全局信息來指導每一個詞的預測，因此，s (t)k 也被作為輸入，送入詞級解碼器，直到它輸出當前欄位的所有詞。Attention用在詞級解碼器中, 以便有選擇地從編碼部分中抽取重要內容。處理稀有詞的問題, 我們使用一個簡單而有效的複製機制, 用最大的attention分數來取代生成的詞表之外的詞。

詞級解碼器如下：

我們使用雙向GRU作為編碼器，用一個特殊的標籤連接段落和問題。

該模型以反向傳播的方式學習，其目標是對於問題-段落對能最大限度地提高給出正確assertion的概率。在實驗中, Seq2Ast的參數隨機初始化，使用AdeDelta更新。

ExtAst: ABQA 的抽取式方法

抽取式方法是一種學習排序的方法。基於不同粒度的特徵從候選列表中選擇排名最高的assertion。抽取方法包括三個步驟：

1、在數據集構造過程中生成候選的assertion

2、問題感知來匹配特徵

3、assertion候選排名

問題感知的匹配特徵

用三種不同級別的粒度，來衡量問題q和assertion之間的語義相關性

詞級，我們使用詞匹配功特徵f Wm和詞級別轉換特徵 f W 2 W 。如果問題和assertion有大量的單詞重疊，assertion和問題相關,f WM 根據問題和assertion共享的單詞數計算的。 f W 2 W 表示基於詞轉換的特徵，用 IBM 模型 1 計算問題和assertion的相關性。

在短語級, 我們設計了一個基於釋義的特徵f p p 和短語到短語的轉換特徵f P 2 P 來處理assertion使用不同的表達來描述相同的意思的情況。 f p p 和f P 2 P 都是統計機器翻譯模型抽取的短語表 (PT) 。 f p p 和 f P 2 P的區別就是短語表抽取的來源不同，f p p 從 0.5M "英漢" 中提取雙語對,而 f P 2 P 從4M 提取"問答" 對。

在語句級, 我們使用基於 CNN 的特徵 f Cnn和基於 RNN 的特徵 f RNN 來使assertion匹配問題。f CNN 特徵基於 CDSSM模型, 卷積神經網路中成功應用到句子匹配的任務。該模型

通過兩個卷積神經網路構成了問題向量和assertion向量。並且計算它們餘弦相似度。

我們還使用RNN模型來計算 f RNN .我們首先使用兩個 RNNs 將問題和assertion分別映射到固定長度的向量上。雙向 GRU 用於從兩個方向獲取問題表示和assertion表示。

以問題表示為例, 遞歸地轉換當前詞向量 e q; t 與上一步的輸出向量 h q; t - 1。在表示層中,

從兩個方向，我們連接四個最後的隱藏狀態和元素的向量的乘法作為最後的表示。之後, 我們將問題和assertion對輸入到多層感知器 (MLP) 。

我們用隨機梯度下降法和4M「question-answer」 來訓練模型。成對的每個例子的排名損失函數如下：

f +(q; ast) and f -(q; ast)是模型相關性得分，m代表邊界。

assertion候選排名

我們使用 LambdaMART演算法來學習每個問題-assertion對的最終排名評分。LambdaMART 的基本思想是, 它構造決策樹的森林, 其輸出是決策樹結果的線性組合。決策樹的每個分支指定一個閾值, 應用於單個特徵，並且每個葉節點都是一個真正的值。具體地說, 對於有N個樹的森林, 一個question-assertion的相關性評分:

地w i 是與第i個回歸樹關聯的權重 ， tr i (· ) 是由計算第i個樹的特徵[1 (q; ast)) ;:::; f K (q; ast )]得到的葉子節點的值。 w i 和 tr i (·) 用梯度下降訓練。

Experiments

構造數據集

我們構建了一個人工標註的數據集WebAssertions。問題和對應的段落在商用搜索引擎的查詢日誌中收集，以反映用戶真實的信息需求。對於每個問題-段落對, 我們用最優的OIE演算法生成assertions備選。數據集包括358427的手工標註的 QA 標籤和55960個 web 段落中的assertion。

我們應用表現最好的ClausIE演算法從我們的語料庫從隨機取樣一部分段落。ClausIE 是基於規則的open IE演算法，不需要任何訓練數據。ClausIE 的主幹是一組預定義的規則，基於解析樹獲得句子結構。句子結構同assertion。

我們在兩個環境下進行實驗。

ABQA結果

本文首先測試所提方法在 ABQA 任務上的表現。Seq2Ast的BLEU-4 分數為35.76，比Seq2Seq效果更好。此外，我們將ABQA 的結果作為額外的特徵來推進基於段落的 QA 任務。結果表明,結合 ABQA能顯著提高基於段落的 QA準確性

用排序問題來評估抽取式方法

生成式和抽取式方法的結果，流暢度不是主要問題，主要問題是生成重複的文本和不相關的assertion，重複文本可以通過覆蓋機制解決，還需要進一步的理解問題，

用ABQA 結果改善 PBQA

Conclusion

在本文中, 我們引入了基於assertion的問答任務 (ABQA), 這是一個開放域的 QA 任務, 它用從文檔內容推斷 (生成或抽取) 的半結構化assertion來回答問題。我們構造了為ABQA定製的WebAssertions 的數據集。並且使用了生成式和抽取式方法。實驗結果顯示我們的 ABQA 方法能夠從文檔中推斷出問題感知的assertion。我們還嘗試了將 ABQA 結果合併為附加特徵，這樣可顯著提高基於段落的QA效果。我們計劃改進問題理解的組成部分和推理能力的方法,assertion可以跨不同的句子來推斷最後的答案。

推薦閱讀：