見微知著，從細節處提升詞向量的表示能力 | 論文訪談間 #10

「論文訪談間」是由 PaperWeekly 和中國中文信息學會青工委聯合發起的論文報道欄目，旨在讓國內優質論文得到更多關注和認可。

n

論文作者 | 牛藝霖，謝若冰，劉知遠，孫茂松（清華大學）

特約記者 | 張琨（中國科學技術大學）

詞向量是將詞映射到低維空間進行表示的一種方法，它可以降低輸入信息的稀疏性，同時賦予表示向量一定的詞義。作為 NLP 領域的一項基本任務，詞向量扮演著十分重要的角色，它為機器翻譯，自動問答，對話系統等提供了一個較為準確的單詞表達形式。但是詞的意思是多種多樣的，在不同的情境下會有不同的意義，如何能夠更準確地表示出詞的意義，對 NLP 領域中的其他任務來說具有重要的意義。來自清華大學的牛藝霖，謝若冰，劉知遠老師和孫茂松老師發表在 ACL2017 上的論文「Improved Word Representation Learning with Sememes」首次將義原信息考慮到詞向量的學習任務中，在很大程度上提升了詞向量的表示能力。

n

義原信息（sememe）是詞意的最小語義單位，一個詞的意思可以認為是多個義原信息的組合。在 HowNet 中，可以具象化出這種 word-sense-sememe 的結構，如下圖所示：

其中蘋果是我們的目標單詞，sense1、sense2 是蘋果的兩個不同意思，而 sememe 分別解釋了兩個 sense 的具體含義。

從這個例子我們可以看出，一個詞的意思和他的義原之間的關係是比較複雜的，可能只有一種描述，也可能是多種的一個組合，那麼如何利用這些信息去表示詞的意思，如何模擬詞義和義原之間的關係就成為本文工作的最主要的一個挑戰。

n

本文是在經典的 skip-gram 模型的基礎上提出來的改進模型，相對於 skip-gram 模型只考慮了上下文信息，本文提出的模型同時考慮詞的義原信息以及義原信息與詞義之間的關係，為此，本文提出了三種融合方法。

1. 簡單地使用義原向量的平均值來表示一個詞向量，就如上圖，將樣式值，能，攜帶，特定牌子等的向量表示求平均，作為電腦這個意思的平均表示。

2. 根據中心詞來對一個上下文單詞做消歧，使用 attention 的方法來計算這個單詞的各個 sense（意思）的權重，使用 sense embedding 的加權平均值來表示詞向量。

將注意力機制引入到模型中，從而可以輔助訓練過程中的消歧。也就是說如果一個上下文詞的某個義原跟中心詞的意思更加相近，那麼他就獲得更多的關注，從而在生成上下文詞的向量表示時，這個義原的權重就會越大，而最終生成的上下文詞向量也就具有更好的表達能力。所以這個模型也稱之為上下文模型（context model）。

n

3. 和上個方法類似，只不過是這次是使用上下文單詞預測中心詞的含義。

同樣的，一個詞的意思跟它所處的上下文環境息息相關，那麼上下文環境也就決定了這個詞表示的到底是那種意思，因此這裡通過利用上下文信息對中心詞的義原信息的關注程度，從而選擇出符合情境的義原信息，為中心詞表示的生成提供必要的輔助，也就提升了中心詞的向量表示能力，因此這個模型也被稱之為目標模型（target model）。

在實驗設計上，本文通過兩個經典的評價詞向量質量的任務：詞的相似性實驗和詞的類比實驗對模型進行了驗證， 同時與當前流行的 CBOW，skip-gram 和 GloVe 模型進行了對比，結果發現本文提出的模型在兩個任務上均優於對比方法，這也證實了將義原信息融入到詞向量的表示學習中的有效性。

同時，為了進一步驗證模型在詞義消歧方面的能力，本文選取了一些實例進行分析：

n

從例子中可以看出在不同的情境下，模型均能根據實際意思選取出合適的意義，這也證實了本文提出的模型可以在不同的情境中很好的獲取詞的意思。

作者有話說：

第一次寫文章，作者感覺跟高考差不多，首先，都需要做大量的前期準備，只有充分的準備，才能對自己研究的內容有比較深刻的了解，才能清楚明白的闡釋出自己的想法；其次，deadline（考前）一兩天整個人都會陷入一種焦躁的狀態，覺得自己寫的都是什麼東西，但又不得不繼續準備；再次，交稿後（高考後）會突然覺得世界都清靜 了，只想安靜的休息會；最後，也就是揭榜時，這個心情想必大家都有體會。

n

更深的體會就是：寫文章，做科研是一個探索的過程，不斷地去實驗，去分析，去探索，終會發現十分有意思的東西。

歡迎點擊查看論文：

關於中國中文信息學會青工委

中國中文信息學會青年工作委員會是中國中文信息學會的下屬學術組織，專門面向全國中文信息處理領域的青年學者和學生開展工作。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事 AI 領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly