本周值得讀：收下這12篇最新論文，煉丹不愁沒靈感

09-15

來自專欄 PaperWeekly15 人贊了文章

QuAC : Question Answering in Context

@guohao916 推薦

#Machine Reading Comprehension

本文提出了一個基於上下文的機器閱讀理解數據集 QuAC，該數據集存在兩類人群：Student 和 Teacher。Student 依次提出一系列自由式的問題，而 Teacher 進行回答，該回答是基於文章內部的片段產生的。不同於以往的機器閱讀理解數據集，該數據集存在以下特點：

1. 問題是開放式的，也就是說問題的答案不一定存在於文章的片段中。因此 Student 在提問前不知道是否能夠被回答；

2. Teacher 的回答必需基於文章內部的片段，不存在自由片段（遊離於文章內容的片段）；

3. 對話終止的條件包括：從開始對話到現在，(a). 已經有 12 個問題被回答了；(b). Student 和 Teacher 中的某一位主動提出結束對話；(c). 有兩個問題不能夠被回答。

論文採用了 Pretrained InferSent，Feature-rich logistic regression，BiDAF++ 以及 BiDAF++ w/ x-ctx 作為基準演算法，選用 HEQQ，HEQD 和 F1 等作為效果度量指標，進行了一系列實驗。實驗結果表明，目前的基準演算法得到的最好結果，相較於人工判斷的效果還存在很大提升空間。

論文鏈接：https://www.paperweekly.site/papers/2255

數據集鏈接：http://quac.ai/

Densely Connected CNN with Multi-scale Feature Attention for Text Classification

@wangshy 推薦

#Text Classification

本文是清華大學發表於 IJCAI 2018 的工作。針對文本分類任務中卷積神經網路通常無法靈活學習可變 n 元特徵（n-gram）的問題，論文提出了一種具有適應式注意力機制的密集連接的卷積神經網路。該模型通過建立底層特徵和高層特徵之間的跨層連接，從而獲得了豐富的多尺度特徵，而注意力模型能夠自適應地選擇合適尺度的特徵以適用於各種不同的文本分類問題。該法面向六個公開數據集均實現了超過基線的預測精度。

論文鏈接：https://www.paperweekly.site/papers/2240

源碼鏈接：https://github.com/wangshy31/Densely-Connected-CNN-with-Multiscale-Feature-Attention

On the Decision Boundary of Deep Neural Networks

@lykaust15 推薦

#Deep Neural Networks

近年來，深度學習在各個領域以及工業界都取得了令人矚目的成功。但是人們一直無法解釋為什麼深度學習在分類上的 performance 會比傳統的方法要好那麼多。尤其是，人們無法解釋為什麼模型複雜度那麼高的神經網路沒有災難性的 overfitting 問題（確實存在 overfitting 問題，但是沒有嚴重到過於影響到模型的performance）。

這是一個非常值得研究的問題。它能夠幫助我們更進一步理解深度學習從而進一步提升深度學習的 performance。同時，它也有可能幫助我們解決一些實際的問題，比如 adversarial attacking，catastrophic forgetting。

在前人的工作基礎上，本文從理論和實驗上證明了深度學習和 SVM 的內在聯繫。如果訓練數據的 cross entropy loss 趨向於 0，那麼使用 SGD 訓練深度學習會使神經網路的最後一層的參數的方向趨向於 SVM solution 的方向。

也就是說，如果將深度神經網路劃分成兩個部分，最後一層和除了最後一層的所有層。我們可以將除了最後一層的所有層當做一個 mapping function，這個 mapping function 將原始的輸入映射到一個 hidden representation 上。而網路的最後一層實際上是一個 linear classifier。如果使用 hidden representation 和原始的 label 訓練一個 SVM，我們會發現 SGD 會使神經網路的最後一層的參數的方向 converge 到這個 SVM solution 的方向上。

本文還用大量的實驗證明神經網路最後一層 classifier 的 bias 也非常接近 SVM 的 bias。本文顯示 margin theory 有可能解釋深度學習的 generalization property。

和前人的工作不同，本文沒有對神經網路進行任何的簡化，研究的模型就是平時常用的模型，比如 resnet，densenet。本文的結論非常具有實用性。

論文鏈接：https://www.paperweekly.site/papers/2252

源碼鏈接：https://github.com/lykaust15/NN_decision_boundary

Next Item Recommendation with Self-Attention

@daven88 推薦

#Recommender System

本文提出了一種基於 self-attention 的基於序列的推薦演算法，該演算法是用 self-attention 從用戶的交互記錄中自己的去學慣用的近期的興趣，同時該模型也保留了用戶的長久的興趣。整個網路是在 metric learning 的框架下，是第一次將 self-attention 和 metric learning的結合的嘗試。

實驗結果表明，通過 self-attention，模型可以很好的學慣用戶的短期興趣愛好，並且能有效的提升模型效果。通過和近期的文章得對比發現，該方法可以在很大程度上改善序列化推薦的效果。

論文鏈接：https://www.paperweekly.site/papers/2246

A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization

@yangdali 推薦

#Abstractive Summarization

本文是騰訊發表於 IJCAI 2018 的工作，文章提出了一種基於卷積神經網路的總結式文本摘要生成方法，並結合主題模型的注意力機制，利用強化學習方法進行優化，在 DUC、Gigaword 和 LCSTS 數據集上達到 state of the art。

論文鏈接：https://www.paperweekly.site/papers/2234

Fake Sentence Detection as a Training Task for Sentence Encoding

@lunar 推薦

#Sentence Embeding

本文給出了一個新穎的看法，即一些垃圾數據對訓練也可以是有用的。作者人為製造出很多假數據（通過隨機從文本中丟失一些詞和打亂一些詞的順序），訓練出一個二分類網路用於判別真假文本，這種方式訓練出的模型在很多任務上有更好的表現。有點像 CV 界數據增強的逆向玩法。

論文鏈接：https://www.paperweekly.site/papers/2229

Dropout is a special case of the stochastic delta rule: faster and more accurate deep learning

@chlr1995 推薦

#Bayesian Deep Learning

本文從數學角度嘗試解釋 Dropout 的作用，深入探究 dropout 的本質。論文提出了一種從權重層面引入雜訊的方法。實驗結果顯示，這種方法不僅可以提高網路的最終收斂結果，也可以加速收斂。

論文鏈接：https://www.paperweekly.site/papers/2212

源碼鏈接：https://github.com/noahfl/densenet-sdr

Backprop Evolution

@lunar 推薦

#Genetic Algorithms

本文是 Google Brain 發表於 ICML 2018 的工作，作者希望能夠找到一種能夠替代反向傳播的方法。因此，他們設計了一種 domain-specific language (DSL) 來函數式描述數學公式（例如反向傳播），然後利用演化演算法來發現新的傳播演算法，旨在找到泛化性能比 BP 更好的演算法。最終通過實驗，他們找到的演算法能夠在訓練前期收斂得更快，但是收斂時並沒有表現得更好。

BP 演算法雖然取得了很大的成就，但是近年學界前沿也指出它的一些局限性，本文給這方面的研究探出了一小步。

論文鏈接：https://www.paperweekly.site/papers/2211

Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

@Qfengly 推薦

#Dialog System

本文是百度發表於 ACL 2018 的工作，論文將 attention 應用於多輪對話，打破之前的 RNN 和 CNN 結構，在多輪上速度快，達到了目前最好效果。其次，本文使用 self-attention 和 cross-attention 來提取 response 和 context 的特徵。

論文鏈接：https://www.paperweekly.site/papers/2250

NASH: Toward End-to-End Neural Architecture for Generative Semantic Hashing

@EricShen 推薦

#Recommender Systems

本文在 ACL 2018 上獲得了 Best Paper Honourable Mention Award。現有的句子表示大多都是基於連續的 vector（skip-thought vector 等），而本文考慮用離散的 binary vector 來表示句子（文檔），並首次提出用端到端的 Variational Autoencoder 來學習 binary 的句子表示。基於這些 binary 的向量，兩個文檔的相似度就可以通過他們 representations 之間的 hamming distance（即有多少 bit 不同）來進行判斷。

相較於連續的 vector 上的 inner product 操作，這種策略有更快的計算速度（這種方法被稱為 semantic hashing）。同時，離散的向量在 storage 上也比連續的向量更加節省空間。

在 information retrieval 的幾個 benchmark 數據集上，本文的模型相對於以前的 semantic hashing 方法在搜索準確率上實現了明顯的提升。

論文鏈接：https://www.paperweekly.site/papers/2225

Geometric Understanding of Deep Learning

@pxwluffy 推薦

#Deep Learning

本文從幾何的角度理解深度學習，為深度學習提供嚴密的數學論證。深度學習目前還停留在實驗科學的階段，其嚴格的數學解釋還未完全建立。

論文鏈接：https://www.paperweekly.site/papers/2216

A Multi-task Learning Approach for Improving Product Title Compression with User Search Log Data

@aforever 推薦

#Multi-task Learning

本文是阿里發表於 AAAI 2018 的工作，論文利用用戶搜索日誌進行多任務學習以壓縮商品標題，生成的商品短標題在離線自動評測、人工評測以及在線評測中均超過傳統抽取式摘要方法。端到端的訓練方式避免了傳統方法的大量人工預處理以及特徵工程。多任務學習中的 Attention 分布一致性設置使得最終生成的商品短標題中能透出原始標題中重要的詞，尤其是能引導成交的核心詞，對於其他電商場景也有重要意義。

論文鏈接：https://www.paperweekly.site/papers/2253

#文末送書福利#

PaperWeekly攜手圖靈教育送書啦！本期我們要送出的新書是由 Keras 之父、Google 人工智慧研究員 Franc?ois Chollet 執筆的深度學習領域力作——《Python深度學習》。

作者：Franc?ois Chollet

譯者：張亮

30多個代碼示例，帶你全面掌握如何用深度學習解決實際問題

Keras框架速成的明智之選

夯實深度學習基礎，在實踐中培養對深度神經網路的良好直覺

無須機器學習經驗和高等數學背景

由 Keras 之父、Google 人工智慧研究員 Franc?ois Chollet 執筆，美亞 4.6 星評，16 開全彩印刷，通俗易懂，幫助讀者建立關於機器學習和深度學習核心思想的直覺。書中用 30 多個代碼示例，步驟講解詳細透徹，介紹了用 Python 和 Keras 進行深度學習的探索實踐，包括計算機視覺、自然語言處理、產生式模型等應用。

??如何參與

點擊關注PaperWeekly微信公眾號，在文末底部留言分享：對於各位初級煉丹師而言，應該如何選擇適合自己的深度學習框架？

小編將隨機抽取5位同學送出圖靈教育新書，活動截止時間：8月31日（周五）20:00。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事 AI 領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

加入社區：http://paperweek.ly

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly