「小會話，大學問」 - 如何讓聊天機器人讀懂對話歷史？| 論文訪談間 #03

作者 | 吳俁，武威，星辰，李舟軍，周明（北航&微軟研究院）

特約記者 | 曹東岩（哈爾濱工業大學）

人工智慧現在的火熱程度大家有目共睹，凱文凱利在《必然》中預測未來時代的人工智慧可能會重新定義人類的意義，但時下的人工智慧發展水平顯然還沒有大家想像得那麼美好，仍然需要我們不斷地探索。目前眾多研究人員正深耕其中，作為其中代表的聊天機器人（Chatbot），已然成為科研界研究的熱點。

通常來說聊天機器人實現方式有兩種：一種是基於生成式，即機器人「自己說話」，一個字一個字創作出回復語句來。另外一種是基於檢索式，即機器人「轉發」別人的話。從互聯網大家的話語中尋找到合適的回答予以轉發。

現有的生成結果由於技術所限，或多或少都存在語句不流暢的問題，但能夠做到「有問必答」偶爾還能蹦出「彩蛋」。檢索的模型一般流暢性方面無須擔心，不過隨著目前網路資源的日益豐富，語料規模也越來越大，如何從眾多語句中選擇合適的句子作為回復是檢索式聊天機器人的核心問題。

雖然目前市場上的聊天機器人眾多，但我們見到的那些貌似都不是那麼聰明。最直觀的一個體現就是前後不連貫，上下難銜接，因此在進行檢索的時候考慮歷史信息則顯得尤為重要。那麼如何讓機器人理解對話歷史信息從而聰明地進行回復呢？微軟亞洲研究院的研究員們提出了一個模型 Sequential Matching Network（SMN）。相關論文的作者吳俁談到「SMN 模型可以讓聊天機器人準確的理解當前和用戶的對話歷史，並根據歷史給出最相關的回復，與用戶進行交流，達到人機對話的目的。」

但這在實現的過程中也遇到不少難點，「精準計算聊天歷史和候選回復的語義相似度十分困難，主要的挑戰有兩個方面：（1）由於聊天歷史信息繁多，如何將歷史中重要的詞語、短語以及句子選擇出來，並通過這些重要部分刻畫聊天歷史，是一個亟待解決的問題；（2）如何對聊天歷史中的各輪對話進行建模，如何判斷對話歷史中的跳轉，順承等關係，也是一個棘手的問題。」 那麼論文作者提出的 SMN 模型又是如何解決這兩個問題的呢，接下來我們將為您解讀。

▲ 圖1：SMN網路架構

SMN 模型一共分為三層。第一層為信息匹配層，對之前的歷史信息和待回復的句子進行匹配度計算：同時進行詞語（embedding 向量）和短語級別（GRU 表示）的相似度計算。然後再把這兩個矩陣分別作為卷積神經網路的一個 channel，利用 CNN 的 max-pooling 進行特徵抽象，形成一個匹配向量。第二層為匹配積累層，利用一個 GRU 神經網路，將每一句話和回復所計算出的匹配信息進一步融合。第三層為匹配結果預測層，利用融合的匹配信息計算最終的匹配得分，在預測時他們使用三種策略，分別是只利用 GRU2 最後一個隱藏層（SMN_last），靜態加權隱藏層（SMN_static），和動態加權隱藏層（SMN_dynamic）。在進行檢索的時候，他們將最後一句的信息結合上文歷史信息中的 5 個關鍵詞（歷史信息中用 tf-idf 進行篩選，選擇 Top 5 關鍵詞）在系統中進行檢索，然後用上述 SMN 網路對候選結果打分從而選出回複句。

作者分別在 Ubuntu 語料（大型公開計算機相關求助與解答語料）和豆瓣語料（作者從豆瓣小組的公開信息中爬取並在論文中公布）上進行了實驗，分別以 Rn@K 和 MAP、MRR、P@1 為評價指標，取得的結果均為目前最好。

作者表示「SMN不同以往的模型，第一步不進行上下文的建模學習，而是讓每句話和回復進行匹配度計算，這樣可以儘可能多的保留上下文的信息，以避免重要信息在學習上下文的向量表示時丟失。而且 SMN 在對上下文句子關係建模時，考慮了當前回復的影響，使得回復成為一個監督信號，這樣可以更準確的對上下文歷史進行建模。」並且吳俁向我們透露「據我們所知，我們公布的豆瓣語料是第一個人工標註的中文多輪對話語料。」

在談及目前的方法還有哪些不足之處時，作者表示「目前我們的檢索方式有時找不到正確的候選句，所以第一步的檢索方法還有待改善，另外雖然我們的模型可以建模當前回復和歷史信息的關係，但還是無法避免一些邏輯上的問題，不過這也是我們未來工作的重點，我們將繼續提高候選回復在邏輯上的連貫性」，讓我們共同期待他們的未來工作。

? 文末福利

論文中公布的豆瓣語料和代碼鏈接：MarkWuNLP/MultiTurnResponseSelection

歡迎查看論文：

關於中國中文信息學會青工委

中國中文信息學會青年工作委員會是中國中文信息學會的下屬學術組織，專門面向全國中文信息處理領域的青年學者和學生開展工作。

關於PaperWeekly

PaperWeekly是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事AI領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入PaperWeekly的交流群里。

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly