標籤：

資源放送 | 被引用最多的20篇深度學習論文集合

05-21
資源放送 | 被引用最多的20篇深度學習論文集合

前言

一份深度學習論文資源貼，20篇論文小編已經打包，放在文章結尾。

譯者：tao

原文：kdnuggets.com/2018/03/t（也可以通過閱讀原文進行查看哦~）

深度學習，作為機器學習的一個分支，在近幾年取得快速發展。雲計算、大數據和開源軟體是其突破的關鍵之一。我們選擇這20篇論文是根據 Microsoft Academic 上的引用數。由於指標是不斷變化的，我們採用剛發稿時的數據（2018年3月）。

在這些論文中，超過75%涉及到深度學習和神經網路，尤其是卷積神經網路(CNN)，約50%的論文涉及到機器視覺。毫無疑問，隨著TensorFlow和Theano等開源軟體的推廣，以及GPU的性能的提高，數據科學家和機器學習工程師也會不斷取得新的突破。

1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (引用: 5,716)

深度學習可以通過多個處理層組成的模型來學習多抽象層次的數據表示。這些方法可以改進語音識別、視覺對象識別、目標識別等，也可以應用於藥物發現和基因科學等其他領域。

卷積網路內部結構（以識別薩摩耶狗為例）

2. TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (引用: 2,423)

這是一套靈活的、有多種演算法的實現，包括神經網路中的訓練和推斷的系統，它已被應用於計算機及其他領域，包括語音識別、機器視覺、機器人、信息檢索、自然語言處理、地理信息抽取以及藥物發現。

單機結構與分散式結構，TensorFlow 是一種分散式的機器學習方法

3. TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (引用: 2,227)

TensorFlow是一套開源的深度學習框架，不僅應用於多個谷歌服務，也被廣泛應用於機器學習研究。

TensorFlow 的訓練過程，包括數據輸入、預處理、訓練等

4. Deep learning in neural networks, by Juergen Schmidhuber (2015) (引用: 2,196)

這篇論文是一個綜述類文章，總結了深度學習和神經網路的發展歷史。淺層和深層學習器是通過網路層數的數量區分，並且詳細講解了有監督學習(簡要介紹反向傳播演算法的歷史)、無監督學習、強化學習、進化計算以及深層編碼網路。

5. Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (引用: 2,086)

我們使用深度學習開發一款新型的人工agent，Q-network，它可以使用點對點強化學習直接從高維感官輸入中學習控制策略。我們在經典Atari 2600中測試過這個agent。

卷積神經網路示意圖

6. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (引用: 1,421)

我們引入了區域提議網路(RPN)，它與檢測網路來共享全圖像的卷積特徵，從而實現幾乎免費的區域提議。RPN是一個全卷積網路。可以同時在每個位置預測目標邊界和目標分數。

解決多尺度多尺寸問題的三種方法

7. Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (引用: 1,285)

當前的模型都是假設一個固定的時空接受域，或對時空序列進行簡單的平均處理。與之相反，遞歸卷積模型是「雙重深度」，因為它可以在空間和時間的「層」中組合。

長時程卷積神經網路的基本架構

8. MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (引用: 1,148)

我們將CNN封裝成方便調用的MATLAB函數，可以計算帶有濾波器組的線性卷積、特徵池化等。這篇論文概述了CNN及其在MatConvNet中如何實現，並給出了工具箱中每個函數的技術細節。

下載、安裝、編譯、運行 MatConvNet 完成分類任務的全過程

9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (引用: 1,054)

在這項工作中，我們希望幫助彌合CNN在監督學習與無監督學習之間的差距。我們引入了一種CNN，稱為卷積生成對抗網路(DCGANs)。DCGANs具有一定體系結構約束，也被證明是無監督學習問題中一種有效方法。

圖片內容的向量計算

10. U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (引用: 975)

眾所周知，深度學習的成功訓練需要數千個標註訓練樣本。在本文中，我們提出了一個使用數據增強，可以更有效地利用已有數據的新的網路和訓練方法。

利用本方法，對顯微圖片中的細胞做區分和染色

11. Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (引用: 760)

我們提出了一種新的卷積神經網路，它結合了卷積神經網路(CNNs)和基於條件隨機場(CRFs)的概率圖模型的優勢。

多種方法識別效果的對比

12. Image Super-Resolution Using Deep Convolutional Networks, by Chao D., Chen C., Kaiming H. & Xiaoou T. (2014) (引用: 591)

我們的方法是直接學習低/高解析度圖像之間的端到端映射，該映射表示為卷積神經網路(CNN)，其將低解析度圖像作為輸入，將高解析度圖像作為輸出。

將黑脈金斑蝶照片局部放大三倍，SRCNN 的效果上佳

13. Beyond short snippets: Deep networks for video classification, by Joe Y. Ng, Matthew J. H., Sudheendra V., Oriol V., Rajat M. & George T. (2015) (引用: 533)

在這篇論文中，我們提出將CNN與LSTM結合在一起，對視頻數據進行特徵提取，單幀的圖像信息通過CNN獲取特徵，然後將CNN的輸出按時間順序通過LSTM，最終將視頻數據在空間和時間維度上進行了特徵表達。

CNN 與 LSTM 結合的示意圖

14. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, by Christian S., Sergey I., Vincent V. & Alexander A A. (2017) (引用: 520)

卷積神經網路是近年來圖像識別的性能的取得突破的關鍵。通過三個殘差和一個Inception-v4的集成，我們在ImageNet分類集(CLS)取得3.08%的top-5 錯誤率。

15. Salient Object Detection: A Discriminative Regional Feature Integration Approach, by Huaizu J., Jingdong W., Zejian Y., Yang W., Nanning Z. & Shipeng Li. (2013) (引用: 518)

在這篇論文中，我們把顯著圖計算看作回歸問題。我們的方法是使用多級圖像分割，利用監督學習方法將區域特徵向量映射為顯著度。

區域特徵整合方法的框架

16. Visual Madlibs: Fill in the Blank Description Generation and Question Answering, by Licheng Y., Eunbyung P., Alexander C. B. & Tamara L. B. (2015) (引用: 510)

在這篇論文中，我們引入了一個有10,738個圖像，有360,001個描述的新的數據集，稱為可視化Madlibs數據集。該數據集使用自動生成的空白填充模板收集相關的人和物體的外觀，行為和交互，及其背景的針對性的描述。

一個來自Visual MIDLBS 數據集的例子，包含了對人、物、情景的多角度描述

17. Asynchronous methods for deep reinforcement learning, by Volodymyr M., Adrià P. B., Mehdi M., Alex G., Tim H. et al. (2016) (引用: 472)

A3C演算法是AC演算法的非同步變體，在Atari領域是最先進的演算法。訓練時候採用的多核CPU，而不是單個GPU，節約了一半的時間。此外，我們還發現A3C演算法在各種各樣的連續電機控制問題上性能表現優異。

比較多種演算法學習新遊戲的速度

18. Theano: A Python framework for fast computation of mathematical expressions., by by Rami A., Guillaume A., Amjad A., Christof A. et al (2016) (引用: 451)

Theano是一個Python庫，可以高效地定義、優化和評估涉及多維數組的數學表達式。從推出以來，它一直是機器學習社區中最常用的CPU和GPU數學編譯器之一。

根據視頻生成字幕的時間，兩種框架的對比

19. Deep Learning Face Attributes in the Wild, by Ziwei L., Ping L., Xiaogang W. & Xiaoou T. (2015) (引用: 401)

該框架不僅大大提高了系統的性能，而且表明了學習人臉表徵是有價值的事實。(1)展示了人臉定位(LNET)和屬性預測(ANET)可以通過不同的預訓練方法改進;(2)儘管只微調了LNet過濾器，但它們在整個圖像上的響應圖對人臉位置有很強的指示性。

用不同方法定位人臉

20. Character-level convolutional networks for text classification, by Xiang Z., Junbo Jake Z. & Yann L. (2015) (引用: 401)

這篇文章提供一種思路，即使用字元級卷積神經網路(Char-CNN)實現文本的分類。我們構建了幾個大規模數據集進行測試，可知字元級卷積神經網路可以實現很好的性能。

模型示意圖

論文資源免費下載

20篇論文小編已經為你打包完畢，拿走不謝！

百度網盤鏈接:pan.baidu.com/s/1exFB71

密碼:a8yl

系列直播課上線

小夥伴組隊學習折上折：

3人組團959，5人組團899，10人及以上團799

在校學生特惠：5人組團即可享受799的10人團購價

學生組團學習交流群」，進群組隊學習

weixin.qq.com/g/AwDHzSt (二維碼自動識別)

數據科學家，21世紀最性感的職業！

關注集智AI學園公眾號

獲取更多更有趣的AI教程吧！

搜索微信公眾號：swarmAI

集智AI學園QQ群：426390994

學園網站：campus.swarma.org

weixin.qq.com/r/FzpGXp3 (二維碼自動識別)

推薦閱讀：

TAG:深度學習DeepLearning | 人工智慧 | 機器學習 |