這個小長假，你錯過了哪些精彩論文？| PaperDaily #03

01-28

在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背後的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊即刻加入社區，查看更多最新論文推薦。

[ 自然語言處理 ]

Improving Word Representations via Global Context and Multiple Word Prototypes

@paperhwd 推薦

#Word Embeddings

文章試圖通過在《Natural Language Processing (Almost) from Scratch》的基礎上進行改進，使得詞向量富含更豐富的語義信息。第一個創新是使用全文信息輔助已有的局部信息，第二個創新是使用多個詞向量來表示多義詞。

論文鏈接：http://www.paperweekly.site/papers/805

Neural Turing Machines

@Ttssxuan 推薦

#Neural Network Architectures

通過使用注意力機制以及外部存儲，擴展神經網路的能力，提出類似圖靈機（Turing Machine）或馮諾尹曼機（Von Neumann）的系統 Neural Turing Machines (NTM)，NTM 與圖靈機和馮諾尹曼機的主要區別在於，NTM 是端到端可微的，這樣可能使用梯度下降有效的對 NTM 進行訓練。

本文主要從讀（Reading）、寫（Writing）、定址（Addressing Mechanisms）、主控網路（Controller Network），四個方面對 NTM 進行闡述。

讀：每步產生個權重向量，向量決定內存每一行權重，向量和內存結合得到讀取結果。

寫：寫由兩部分組成，即：擦除（erase）和增強（add）。

定址：本文提出基於內容定址（content-based addressing）和基於位置定址（location-based addressing）兩種方式結合，形成 NTM 定址方式。

主控網路：主要使用了 LSTM 和 Feedforward 兩種方式論文使用 LSTM、NTM（LSTM 控制器）、NTM（Feedforward 控制器），進行了拷貝（Copy）、重複拷貝（Repeat Copy）、Associative Recall、Dynamic N-Grams、Priority Sort 等對比實驗。

論文鏈接：http://www.paperweekly.site/papers/810

Effective Approaches to Attention-based Neural Machine Translation

@zh794390558 推薦

# Neural Machine Translation

Luong Attention，乘法 Attention，Bahdanau attention（加法）的變種。論文對 Attention 機制講述清晰，比 Bhdanau 實現簡單，對比了多種 score 的方法。語法簡單，很值得看的一篇論文。

論文鏈接：http://www.paperweekly.site/papers/806

[ 計算機視覺 ]

Speed/accuracy trade-offs for modern convolutional object detectors

@Molly 推薦

#Object Detection

對各種主流的目標檢測網路進行比較（速度、正確率、大小）。此前各模型的 base feature extractor、圖像像素、平台都不同，不太好比較。文章給出了一個非常詳盡的 Faster R-CNN， R-FCN， SSD 系統的性能比較。

論文鏈接：http://www.paperweekly.site/papers/840

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

@zh794390558 推薦

#Image Captioning

Attention 在圖像中的應用，15 年發表至今被引用上千次。

論文鏈接：http://www.paperweekly.site/papers/812

PixelCNN++: Improving the PixelCNN with Discretized Logistic Mixture Likelihood and Other Modifications

@sangiovese17 推薦

#Image Generation

改進了 Pixel CNN 演算法，假設像素點服從一種確定形式的混合分布，通過 CNN 做回歸直接預測分布的參數，從而直接的到分布。生成時從預測的分布抽樣。

論文鏈接：http://www.paperweekly.site/papers/838

[ 機器學習 ]

node2vec: Scalable Feature Learning for Networks

@YFLu 推薦

#Network Embedding

node2vec 是 16 年 KDD 的一個工作，論文提出了一種學習網路節點的特徵表示的演算法框架。論文定義了一個網路節點鄰居的靈活概念，並設計了一個帶偏置的隨機遊走過程來獲得不同鄰居節點。

論文的亮點主要在：採用深度優先搜索（DFS）和寬度優先搜索（BFS）兩種策略，隨機遊走生成節點的鄰居節點集合。

論文鏈接：http://www.paperweekly.site/papers/823

Bilingual Word Embeddings from Parallel and Non-parallel Corpora for Cross-Language Text Classification

@xk57238890 推薦

#Word Embeddings

該文章介紹了一種建模多語言的段落向量（BRAVE）的模型，該模型通過句子對齊或者標籤對齊可以學習詞語的多語言分散式表示，從而可以支持多語言的文本分類。

論文鏈接：http://www.paperweekly.site/papers/821

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、數據挖掘和信息檢索等研究方向，點擊即刻加入社區！

相關活動：不得不讀的GAN

GAN 是現在最熱門的研究方向之一，那麼到底有哪些 paper 是值得一讀的？

為此，我們將在 PaperWeekly 社區發起一次 GAN專題論文推薦，歡迎大家一起參與推薦和 GAN 相關的論文。針對活動中出現的優質論文，我們將組織發起論文共讀，由一名學術大咖為活動參與者進行在線論文解讀。如果你推薦的論文被大家認可，獲得了全場最高點贊數，我們將為你送出一份 PaperWeekly 神秘大禮包。

活動時間：10 月 9 日-10 月 20 日

參與方式：

點擊進入活動頁面
點擊我要參加，頁面右上角將會收到活動消息通知（需註冊登錄）
點擊網站右上方的推薦論文進行推薦
或從今日arXiv右側下載arXiv Paper推薦插件，即可進行一鍵推薦
為了更好的使用體驗，建議通過PC端訪問網站

*尚未註冊PaperWeekly社區的用戶請先申請註冊。網站目前採用審核制註冊，請如實填寫個人信息，我們將在12小時內完成審核。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事 AI 領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly