《Easy Questions First? A Case Study on Curriculum Learning for Question Answering》讀書筆記

02-02

轉載請註明出處：西土城的搬磚日常

原文鏈接：Easy Questions First? A Case Study on Curriculum Learning for Question Answering

來源：ACL（2016）

關鍵詞：Curriculum Learning QuestionnAnswering

問題：機器學習就是模仿人類的學習過程。而人類通常學習一個問題是從簡到難，逐級深入。這種思路用到機器學習中就是所謂的Curriculum Learning：根據樣本的難易程度，簡單的樣本優先被學習，複雜的樣本後被學習。本文討論了Curriculum Learning在NLP領域,n尤其是在QA task里應用的可行性。

方法：

作者將Self-paced Learning引入QAntask, 進而將之前的ERM問題變為:

其中v是對問題進行採樣時候的權值, 範圍在0到1之間，與L和λ有關。g是self-paced正則項，其中λ代表』age』或者說』pace』。v會隨著L的增大而減小，同時隨著λ的增大而減小。也就是說，模型會優先選擇簡單的問題而不是複雜的問題。並且隨著』age』的增加, 模型趨向於選擇更複雜的問題一起訓練。

文章給出並分析了四種流行的self-paced regularizer如下表:

之後提出了7種新的heuristics:

1) Greedy Optimaln(GO): 將已有的Q和一系列新的Q一起訓練, 選回答正確並且loss最低的。

2) Change innObjective (CiO): 將已有的Q和一系列新的Q一起訓練, 選擇令loss改變最小的。

3) Mini-max (M2 ): 當某個新的Q與其loss最大的一個candidate answer配對時,nloss最小的。 (通俗地講, 就是最差情況都沒有那麼糟糕的一個)。

4) Expected Changenin Objective (ECiO): 只拿新的Q訓練, 和之前的loss改變最小的. (相比於第二種的將已有的Q和新Q一起訓練)。

5) Change innObjective-Expected Change in Objective (CiO - ECiO): 2)和4)的值最接近的, 按照作者的意思, 這個值反應了model見到某個新Q時surprise的程度。

6) CorrectlynAnswered (CA): 將一系列新Q在當前model上測試, 選擇用最小的loss正確回答的。

7) Farthest fromnDecision Boundary (FfDB): 只用在latent structural SVMs上,n選擇答案與決策邊界最遠的一個新Q。

其他的挑選策略：

Ensemeble: 集成上面heuristics以投票模型的方式選出得分最高的問題

Importance-Weighting：如果我們挑選熱門的問題而不是隨機選擇，訓練樣本並不是獨立同分布的根據權值loss，構建biased sample distribution，重新採樣訓練樣本。

IncorporatingnDiversity with Explore and Exploit (E&E)：在一般的Curriculum Learning中，優先集中在簡單的問題上訓練，往往會忽略了問題的多樣性從而難以適應到困難的問題上。

實驗結果：

相關工作：

1. nQA任務:

1) nQA任務的一般形式：

給定問題q,候選答案集合,背景知識K,可以設計一個打分函數S判斷給定背景知識K下候選答案和問題q的匹配度，得到的最佳答案f可以表示為：

給定損失函數L和正則化項Ω，那麼QA問題看做是一個經驗風險最小化(ERM)問題:

2) n本文所用的QA模型：

這篇文章突出討論Curriculum Learning在非凸QA模型上的應用,n著重介紹了基於配對的模型和基於深度學習的模型。

基於配對的模型將每一個問題和問題附帶的多個備選答案組成若干個QA對, 我們稱之為假設, 然後在給定相關文章的情況下, 尋找有最可能是正確的一個假設作為答案。這裡的對齊分為兩步：句子對齊：將給定段落中的相關句子和假設對齊；詞對齊：將相關句子和假設的詞對齊。

基於深度學習的模型簡要分為兩種結構：一種是使用依賴關係樹結構的遞歸神經網路。這種方式結合了句子級別的QA模型，並對預測結果結果取平均; 另一種利用RNN構建」長期」存儲器, 通過訓練對存儲器進行讀/寫操作以用來預測。這個過程相當於模擬一個動態的知識庫的構建過程，使用margin ranking loss 和隨機梯度下降演算法。

2nCurriculum Learning:

認知科學學者在很早之前就意識到, 對於人類學習過程,n相對於提供隨機的知識,由淺及深的地給予有計劃的訓練樣本, 可以得到更好的效果。隨後，Curriculum Learning的想法也被Bengio引入到機器學習中,根據困難程度調整訓練樣本順序後訓練。在真實世界的場景中，困難程度的衡量標準未知並且很難由人類直接推算出。目前，Self-paced learning (SPL)是Curriculum Learning比較常用的方法。

簡評：

n這是第一篇在問答系統中引入了Curriculum Learning方法的文章。Curriculum Learning在模型訓練過程中, 啟發式地對於提供給模型的數據出現的順序進行一些調整, 從而讓模型從簡單的, 易於學習的樣本開始, 逐漸加入更複雜的樣本。非凸模型易於收斂到局部最優解，Curriculum Learning可以指導模型由簡到難的逐漸處理樣本通常可以得到一個更好的局部最優解。

作者對SPL進行了深入的研究，提出了很多heuristic，並且通過了一系列的實驗驗證, 本文闡述的heuristic確實可以幫助QA model獲得更好的準確率。這證明了引導模型由淺及深的這種思路是可行的, 我們也許可以思考一些更複雜的heuristic, 或者將其應用到其他的任務中。

此外，作者提出了一種結合Curriculum Learning和問題的多樣性的方法，並取得了很好的結果。這個過程很好的考慮到了模型的泛化能力，提高了模型從簡到難對於複雜問題的不適應性。

然而本文給出的大部分heuristic在新問題的選擇上都需要比較大的時間複雜度, 對於像MCTest這種總共只有660個文章的小型數據集來說還算比較現實, 但是對於更大更長的數據集應用這些heuristic的時間複雜度太高。因此本文的方法更多的是思路上的創新，而不具備很大的實用性。