A Neural Conversational Model

前面介紹過幾篇seq2seq在機器翻譯、文本蘊藏、自動文摘領域的應用，模型上每篇稍有不同，但基本的思想是接近的。本文繼續分享一篇seq2seq在對話生成任務上的應用，是一篇工業界的論文，因此並沒有什麼理論創新。之所以選這一篇，是因為對話生成是一個非常熱門的研究領域和應用領域，也可能是一個非常熱門的創業領域，另外一個原因是為了充實seq2seq在各個領域中的應用這一主題。論文題目是A Neural Conversational Model，作者是來自Google Brain，畢業於UC Berkeley的Oriol Vinyals博士，論文最早於2015年7月放在arxiv上。

模型部分不用多說，是最簡單的seq2seq，架構圖如下：

本篇主要想分享的東西是結果以及一些思考。文中採用了兩個數據集，IT Helpdesk Troubleshooting dataset和OpenSubtitles dataset，前者是一個關於IT類的FAQ數據集，後者是一個電影劇本的數據集。

我們可以看一下訓練後的模型生成的對話結果，這裡只關注第二個數據集的結果：

常識類問題：

哲學類問題：

道德類問題：

為了對比，作者添加了一組cleverbot(cleverbot是一個在線聊天機器人)的對比結果，如下：

從對比結果中可以看得出，本文模型生成的結果比網上流行的在線聊天機器人要看起來更加「智能」一些，之前在知乎上回答過一個問題 三代聊天機器人在技術上的區別在哪裡？，我想cleverbot更接近於第二代，採用了對話檢索，即對話是從一個很龐大的資料庫中匹配檢索來的，而本文的模型屬於第三代，更加智能，給定輸入生成輸出，並不需要藉助於人工特徵。

但bot這個領域確實還面臨一些問題，就像文中作者所說，如何客觀地評價生成的效果非常重要，尤其是對於一些沒有標準答案的問題來說，根本無法衡量哪個結果更加好。其實不僅僅bot，在自動文摘、機器翻譯等各種nlp任務中，評價都是一個很難的問題，自動評價只是從某種意義上解決了各個模型相互比較的一種需求，但在實際應用當中用戶的評價更加重要，雖然有時並不是那麼客觀。

PaperWeekly，每周會分享N篇nlp領域好玩的paper，旨在用最少的話說明白paper的貢獻。

http://weixin.qq.com/r/OUW0rA3ExVC6rUnP9xAr (二維碼自動識別)

推薦閱讀：