論文推薦：機器閱讀理解，問答系統，對話生成 | 本周值得讀 #36

01-26

「本周值得讀」是 PaperWeekly 的優質文章集合地。在這裡，來自 NLP、CV、DL 等方向的學習達人，各自用精鍊妙語推薦當下最新的高質量文章。

1. #機器閱讀理解#

TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

本文提出閱讀理解領域的一個新的數據集，稱為 triviaQA, 文章從 14 個問答網站收集問答對，然後根據問答對，將 bing 的搜索結果和維基百科的相關頁融合出文章，從而形成文章-問題-答案的數據樣本。

數據集包括 650k 的 document-query-answer 對， 95k 的問答對，在規模上超出了之前閱讀理解的主流數據集。在對數據集進行採樣分析得出，數據集中約 69% 的問題與文章具有不同的句法結構，41% 具有多義詞或者短語， 40% 的答案需要多句聯合推斷才能得出答案，答案並不完全是文章中的子文本串，在這個數據集的基礎上，作者實現了三個模型，隨機實體模型，實體分類器，和 BiDAF 網路（其中 BiDAF 網路在 Squad 數據集中取得較好的成績, 當前排第六名， EM 分與人類相比差 9 個點），在 triviaQA 上分別取得了約 15%， 20%, 40% 的效果，遠低於人類的表現 80%, 這個巨大的鴻溝也意味著數據集對領域有著較大的推動作用。本文還對模型的表現進行分析，可以看出，在長文本，文本信息冗餘，聯合推斷等情況下，當前模型的表現都還不夠好。這也意味著在閱讀理解領域，還有很多工作有待探索。

論文鏈接：A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

推薦人：於翮，北京航空航天大學（PaperWeekly arXiv 組志願者）

2. #問答系統#

Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

每個人問同一個問題的表述都可能是不同的，自動問答系統應該如何更好的理解用戶的問題呢？當我們用一種描述方式來提問時，可能不會被 get 到，但也許換一種方式來表達就會好一些，這就是所謂的「ask the right questions」。本文提出了一種增強學習方案，通過重新表述用戶的問題來讓 QA 系統更好的理解問題，從而給出更加準確的答案，在 SearchQA 數據集上取得了比較明顯的效果。本文工作來自 Google。

論文鏈接：Active Question Reformulation with Reinforcement Learning

推薦人：大俊，PaperWeekly 首席客服

3. #CNN & RNN#

pix2code: Generating Code from a Graphical User Interface Screenshot

本文基於深度學習實現了由 GUI 圖片自動行成 iOS、Android、Web 布局代碼，達到了 77% 的準確度，並開放了訓練數據集。pix2code 從兩個角度出發，a：理解圖像以及推斷其中實體各個屬性的 CV 問題；b：理解語言並生成合理語法語義文本的語言建模問題。

主要要點：

Vision Model：使用 VGGNet 對圖片進行編碼
Language Model：使用 DSL 對圖片進行描述，並使用 LSTM 提取語言結構關係
結合 Vision Mode 和 Language Model：使 LSTM 把輸入的 DSL 代碼進行編碼成 q，並與圖片編碼 p 連接成 r，把 r 傳入解碼器（stacked 雙層 LSTM 網路）
Training：使用滑動窗口（window=48 empirical），multiclass log loss
Sampling：使用 <START> <END> 符號做為開始和結束標誌，一次生成一個符號，生成符號用作下一個符號生成的輸入，直到遇到 <END>

亮點推薦：由 GUI 圖片自動生成布局代碼

演示地址：tonybeltramelli/pix2code

論文鏈接：Generating Code from a Graphical User Interface Screenshot

推薦人：羅玄，北京郵電大學（PaperWeekly arXiv 組志願者）

3. #對話生成#

A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues (AAAI 2017)

本文在 Variational Autoencoder（VAE）啟發下提出了 VHRED，用一個 latent variable 來解決對話生成（dialog generation）中的遠距離語義控制問題。傳統的對話生成模型如 RNNLM, HRED（hierarchical recurrent encoder-decoder）在生成下一句話的只能依靠 RNNLM 或者 decoder RNN 的當前 state，這樣這個 state 就需要負責兩個工作：（1）根據已生成的 tokens 生成下一個 token；（2）保存該句子的整體語義（例如 topic）。如此一來在生成一句話的過程中，隨著 state 的變化就很難保持整體語義。

本文在 HRED 基礎上，還用了一個 latent variable 來作為 decoder RNN 生成一個句子時的條件，從而通過該 latent variable 來保證（1）句內語義統一；（2）上文信息的有效保留。Latent variable 的訓練參考了 VAE [2] 這篇文章。實驗中使用了 Twitter Dialogue Corpus 作為訓練語料。在 AMT 的人工評價中，本文將 VHRED 和 TF-IDF、LSTM、HRED 進行了對比。在給出較短上文時，用戶認為 VHRED 生成的句子好於 TF-IDF、HRED，而在給出較長上文時，VHRED 好於所有其他模型。在自動指標（word embedding-based topic similarity）評價中，VHRED 也取得了最好的得分。

Latent variable 的應用有助於對不同層級的關係進行建模，可以用於 music modeling，language modeling 等方面。同時，這類模型的優化也一般需要用到貝葉斯方法。

相關文章 CVAE [3], [4]。

論文鏈接：

[1] https://arxiv.org/abs/1605.06069

[2] [1312.6114] Auto-Encoding Variational Bayes

[3] [1705.00316] A Conditional Variational Framework for Dialog Generation

[4] [1703.10960] Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders

推薦人：趙天雨，京都大學（PaperWeekly arXiv 組志願者）

5. #關係推理神經網路#

A simple neural network module for relational reasoning

來自於 Google DeepMind 的關係推理神經網路。關係推理是通用人工智慧的最重要模塊，但是事實證明神經網路很難學會。DeepMind 構造了一種關係推理神經網路，定義一堆對象 O={o_1, o_2, ... o_i, o_j, ...} 之間的關聯函數為，RN(O) = f_{phi} (sum_{ij} g_{theta}(o_i, o_j) )。其中 g_{theta} 計算任意兩個對象 o_i 和 o_j 之間的關聯，求和保證了不同對象之間關聯的順序無關性，f_{phi} 最後產生最終順序無關的 all-to-all 的關係推理。這個網路在一組測試集上的推理表現超越了人類，在 bAbI 自然語言問答上也表現卓越。

論文鏈接：[1706.01427] A simple neural network module for relational reasoning

推薦人：龐龍剛，UC Berkeley（PaperWeekly arXiv 組志願者）

6. #故事生成#

Event Representations for Automated Story Generation with Deep Neural Nets

本文研究的問題非常有趣，通過給定一系列的 events、action 和 words，生成一個故事。本文的方法是先將輸入處理成一個 event 序列，然後將離散的 event 序列轉化成一系列連續的 event，最後再將這些 event 生成一段故事。自然語言生成（NLG）問題，通過給定不同的限定條件，比如情感，比如 topic，會有非常多好玩的東西可以被生成。

論文鏈接：http://cn.arxiv.org/abs/1706.01331

推薦人：大俊，PaperWeekly 首席客服

7. #反卷積#

Pixel Deconvolutional Networks

在圖像分割（如 U-Net）和圖像生成（如 GAN、VAE）中廣泛用到 deconvolution layer 來做 up-sampling，up-sampling 的過程相當於把多個卷積核算出的中間結果的 feature map 中的像素點周期性的排布開（原文: periodical shuffling of multiple intermediate feature maps），由於相鄰像素是使用不同的卷積核獨立計算得到的，所以相鄰像素沒有直接的關聯性，這樣就會導致得出的 feature map 中有 checkerboard 效應。

本文提出了 PixelDCL（pixel deconvolutional layers）結構，通過按順序依賴的計算每個中間結果 feature map 來使相鄰像素具有直接關聯，從而可以得到平滑的低雜訊的 deconvolution 結果。圖像分割的實驗結果去掉了原本分割得到的一些細碎的小塊，更加平滑和準確。

論文鏈接：Generating Code from a Graphical User Interface Screenshot

推薦人：劉桐，天津大學（PaperWeekly arXiv 打卡小組）

???

「本周值得讀」欄目的內容來自 PaperWeekly arXiv 志願者小組推薦，如果您也是 arXiv 愛好者，願意一起來豐富 PaperWeekly 的推薦內容，並且培養良好的閱讀習慣，就請加入我們吧。請添加微信號：PW-Assistant，並註明「志願者+學校+碩士生/博士生+研究方向」，一起來為 AI 領域學術的發展貢獻自己的一份力量。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事 AI 領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly