深度學習目前主要有哪些研究方向?

11-16

研究生想選擇深度學習方向，也對這方面有了一些了解，但是還是不能把握裡面隱含的脈絡，有人說現在深度學習呈現出過度的繁榮，真的是這樣嗎？

深度學習已經在語音識別、圖像處理等方面取得了巨大成功。從2013、2014年開始，也在自然語言處理領域出現深度學習的應用浪潮，例如今年ACL上有人（應該是BBN公司？）利用深度學習極大地提升了統計機器翻譯的性能，頗值得期待。

關於深度學習的挑戰與方向，其實可以關注深度學習重要學者們的相關綜述文章和專著，例如Yoshua Bengio曾經寫過的Learning Deep Architectures for AI （2009年）、Practical Recommendations for Gradient-Based Training of Deep Architectures（2012年）、Representation Learning: A Review and New Perspectives （2013年）。

限於自己的研究方向和興趣，我比較關注的一個方向如下，希望與大家交流。人們一般認為深度學習在語音識別和圖像處理方面能夠取得長足進度，是因為這兩個領域的相關特徵信息都是相對低層次的，可以藉助深度學習的強大學習能力學習其中的複雜信息；而到了自然語言處理領域，人們利用深度學習做過很多嘗試，發現很難取得像語音識別和圖像處理那麼大的突破，原因在於自然語言的相關特徵信息都是相對高層次的（如自然語言的基本單位——辭彙——本身就有豐富的語義內涵，與圖像中的「線條」、「紋理」等特徵相比尤其如此），在深度學習之前就由語言專家編製了很多精緻而複雜的知識庫，如WordNet等，這些知識已經將相關處理性能推到了較高層次。因此，當深度學習進入自然語言時，如果還是像語音識別、圖像處理那樣從零知識開始做特徵學習，相當於將豐富的語言知識棄之不用而另起爐灶，是不符合自然語言處理特點的。所以，深度學習的一個可能重要的發展方向是，如何在深度學習框架中高效地融合人們已經構建出來的豐富先驗知識（包括語言知識、世界知識）。

需要注意的是，與LDA（latent Dirichlet allocation）等之前流行的機器學習演算法不同，深度學習不是某個具體演算法，而是採用」深度「學習思想的一系列演算法的統稱，在機器學習領域中（如ICML、NIPS），貌似很少有論文會以deep learning命名，而是具體演算法的名稱，如autoencoder，等等。因此，建議首先閱讀一些tutorial，了解深度學習中的主要演算法和人物，然後再去了解具體演算法。

Multimedia Laboratory 我們實驗室對deep learning 的最新進展和相關論文做的整理。對初學deep learning的同學會很有幫助的。深度學習並沒有到出現泡沫的那個程度，它實用化和開始為人熟知幾乎是在同時，並沒有像「雲計算」，「大數據」等這些概念有一個炒作的周期。

補個 Attention-based Model

可以參考以下論文：

Neural Machine Translation By Jointly Learning to
Align and Translate

Effective Approaches to Attention-Based Neural
Machine Translation

Attention-Based Models for Speech Recognition

Show, Attend and Tell: Neural Image Caption
Generation with Visual Attention

A Neural Attention Model for Abstractive Sentence
Summarization

Reasoning about Entailment with Neural Attention

A Hierarchical Neural Auto-Encoder for Paragraphs
and Documents

Encoding Source Language with Convolutional Neural
Network for Machine Translation

Hinton，Bengio及Lecun三位大神在Nature上發表的Deep Learning綜述最後總結了深度學習的三大發展方向：

1. 無監督學習。無監督學習在深度學習剛火的那幾年有很重要的作用，比如用無監督方式訓練深度信念網路還有稀疏自編碼器等，使用無監督學習主要是為了預訓練，以得到一個較好的初始值，隨後再使用有監督訓練進行微調。但是隨著計算能力的發展，人們發現只要在數據集足夠大的情況下使用純有監督學習也能得到較好性能，所以近幾年無監督學習發展不是很大，Hinton他們希望在未來無監督學習能有更大發展，因為人類和動物的學習在很大程度上都是無監督的：我們通過觀察這個世界來學習，而不是有個老師在教我們這個世界的原理。

2. 深度強化學習。深度強化學習的主要思想簡而言之就是將深度學習與強化學習相結合，是一種從感知到動作的端到端學習。簡單的說，就是和人類一樣，輸入感知信息比如視覺，然後通過深度神經網路，直接輸出動作，中間沒有人工特徵的工作。深度增強學習具備使機器人實現真正完全自主的學習一種甚至多種技能的潛力。深度強化學習最突出的代表就是DeepMind公司了，該公司在NIPS 2013上發表的Playing Atari with Deep Reinforcement Learning一文，在該文中第一次提出深度強化學習這個名稱，之後在Nature上發表了改進版的文章Human-level control through deep reinforcement learning，引起了廣泛的關注，深度強化學習從此成為深度學習領域的前沿研究方向。最近的李世石大戰阿法狗中，阿法狗背後的技術也是深度強化學習，DeepMind將阿法狗背後用到的技術發表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。

3. 自然語言理解。自然語言理解也是深度學習在未來幾年能大有作為的領域。使用深度學習技術的各種應用比如神經機器翻譯，問答系統，文摘生成等都取得了不錯的效果，效果的提升主要歸功於注意力機制和循環神經網路相結合的強大能力。相信未來幾年內還會有大量相關工作出現。

NLP:
1.機器翻譯會成為熱點。
2.各種xxx2vec被玩壞了。
3.各種架構雜交，如CNN, 兩種RNN，LSTM，ResNet，attention
CV:
圖像分類被玩壞了，檢測也快了，可能下面這兩個方向會出很多論文。
1.semisupervised leanring
2.視頻上的語義理解
強化學習：
alphago帶了一波節奏，可能還會火一陣子。

語音我不懂。
unsupervised leanring和inference是深度學習大牛hinton和lecun等想挖的大坑，感覺inference沒戲，unsupervised leanring也不好做，不知道誰會把大招憋出來。從現在的情況看，沒什麼突破性進展。

有一個很重要的方向就是combination of symbolic and connectionism。聯結主義學派的深度學習雖然在很多任務上都取得驚人的效果，但是本身還具有局限性；比如不能夠產生數據中沒有觀察到的新知識，尤其是End-to-End學習的非線性擬合函數。符號主義學派的方法以知識和常識表達及邏輯推理產生一個可能世界，可以產生新現象和表達。故將二者相結合是一個非常令人心動的方向。

這個方向是大師們考慮的問題。研究生可做的的方向是無監督學習和深度生成網路。

差不多，現在幾乎每個實驗室都會有涉及到DL的同學。DL已經在圖像和語音方面做得特別出色，比如同聲翻譯、人臉識別都是超過人類水平。如果你才剛開始入題，建議你選擇視頻類，因為這是一個很好的趨勢。希望對你有幫助！

根據2012-2017年被引用最多的深度學習論文來看，深度學習目前的研究方向如下

1、基礎性的理解和概括

2、優化訓練

3、卷積神經網路模型研究

4、圖像：分割/目標檢測

5、視頻

6、自然語言處理

7、強化學習/機器人

8、語音/其他領域

[乾貨]GitHub上最受歡迎的Top10深度學習資源amp;amp;amp;被引用最多的深度學習paper（附資源）這篇文章里有論文資源~

深度學習的理論研究很難，國內基本無人能夠勝任。目前國內主要是基於深度學習的應用研究，比如在人臉識別，在自然語言理解等方面。

深度學習可以應用在推薦系統當中，而且可以取得很不錯的效果。

Deep Learning based Recommender System: A Survey and New Perspectives

本文綜述了基於深度學習的推薦系統的100多篇最新文章。

現在深度學習主要是用於模式識別領域，例如分類，識別，也有部分用於圖像理解領域，分割等等。那麼能用到圖像預處理嗎？去噪，超分辨。。。。。期待高人解答~~~~~

各位大神我想問下將深度學習應用到高爐爐況預測是否有可行性？若可行該怎麼實施呢？

有這些方向：
1、搜索排名
2、高精度的計算機視覺模型
3、自動生成電子郵件回復
4、藥物探索
5、實時翻譯

請先瀏覽最近那個機器人自己寫字的深度學習新聞～

可以研究高速電路設計，晶元架構，還有信息方向的如：信息對抗等等！其他我不了解的也太多，你先要明確做哪個方向，然後先基礎，再深入