論文推薦:機器閱讀理解,文本摘要,Seq2Seq加速 | 本周值得讀 #34
1. #Seq2Seq加速#
Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU
本文是一篇工程性比較強的工作,來自微軟研究院。解碼是在 CPU 上做,文中提供了 5 種加速 decoding 的方法,將速度提升了 4.4 倍,而且沒有影響準確度。用 seq2seq 做工程項目的同學可以看過來。
論文鏈接:Fast and Accurate Neural Machine Translation Decoding on the CPU
推薦人:大俊,PaperWeekly 首席客服
2. #Read Comprehension#
Mnemonic Reader for Machine Comprehension
本文旨在解決目前做閱讀理解任務的端到端神經網路模型面臨的問題:1. 無法有效捕捉原文當中存在的長距離依賴;2. 使用對問題不敏感的 pointer 來預測答案範圍。因此本文提出 Mnemonic Reader,在兩個方面進行了改進:1. 引入了一個自對齊層來進一步捕捉原文當中的長距離依賴;2. 使用一個多輪迭代的對問題敏感的 pointing 機制來預測答案範圍。我們的 ensemble 模型在 SQuAD 數據集上取得了 73.67 的 ExactMatch 和 81.694 的 F1,目前排名第三。
SQuAD Leaderboard:The Stanford Question Answering Dataset
論文鏈接:[1705.02798] Mnemonic Reader for Machine Comprehension
推薦人:大俊,PaperWeekly 首席客服
3. #ACL2017#
#數據集#
#機器閱讀理解#
TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
TriviaQA is a reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K question-answer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions.
數據地址:TriviaQA
論文鏈接:A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension
推薦人:大俊,PaperWeekly 首席客服
4. #文本摘要#
A Deep Reinforced Model for Abstractive Summarization
用 Intra Attention+Supervisd/Reinforcement 混合學習,在 CNN/Daily Mail 數據集的生成式文摘上取得了較已有最好成績 5.7 個 ROUGE 分的提升。工作來自 Metamind Socher 團隊。
官方博客解讀:MetaMind Research
論文鏈接:[1705.04304] A Deep Reinforced Model for Abstractive Summarization
推薦人:孫靜遠,中國科學院(PaperWeekly arXiv組志願者)
5. #IJCAI 2017#
Dynamic Compositional Neural Networks over Tree Structure
對文本序列進行語義合成是 NLP 中的重要問題。過去各種網路的提出(CNN,Recurrent NN, Recursive NN)本質上是對不同種合成函數的嘗試,而這種全局參數共享的合成函數又很難捕捉到語義的豐富性,這篇文章提出一種新的角度,即用 meta network 去處理語義合成的多樣性問題,這種思路可以很容易遷移到其他 NLP 任務上。
論文鏈接:[1705.04153] Dynamic Compositional Neural Networks over Tree Structure
推薦人:大俊,PaperWeekly 首席客服
「本周值得讀」欄目的內容來自 PaperWeekly arXiv 志願者小組推薦,如果您也是 arXiv 愛好者,願意一起來豐富 PaperWeekly 的推薦內容,並且培養良好的閱讀習慣,就請加入我們吧。請添加 PaperWeekly 小助手(微信ID:PW-Assistant),並註明「志願者+學校+碩士生/博士生+研究方向」,一起來為 AI 領域學術的發展貢獻自己的一份力量。
關於PaperWeekly
PaperWeekly是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事AI領域,歡迎在公眾號後台點擊「交流群」,小助手將把你帶入PaperWeekly的交流群里。
微信公眾號:PaperWeekly
新浪微博:@PaperWeekly
推薦閱讀:
※使用計算機視覺方法做海洋瀕臨物種檢測
※SiameseFC:Fully-Convolutional Siamese Networks for Object Tracking
※[行為檢測]R-C3D-Resgion Convolutional 3D Network for Temporal Activity Detection
※【OpenCV圖像處理】總緒論
※10 大深度學習架構:計算機視覺優秀從業者必備(附代碼實現)