deep learning初學該怎麼入門？是要先好好學習神經網路嗎？

01-30

deep learning初學者，沒有學過神經網路，deep learning的入門文章很有點看不懂。

2016.08.13

寫這個答案的時候是三年前。好的教材和資料什麼時候都有，但好的適合入門的教材當時真的不太有（包括Ng的），現在看來，如果想快速入門一下，個人推薦

Neural networks and deep learning

且有好心人正在進行中的中文翻譯

神經網路與深度學習

如果想靜下心來多花點時間，從入門到系統的了解，推薦

Deep Learning

===============================================

Deep Learning可以算是在神經網路的基礎上發展而來的，採用的都是分層網路的結構。先了解神經網路對於學習Deep Learning應該有幫助。DL也就06年左右才在學術界熱起來，所以教材比較少，目前比較全面系統的有

Stanford Andrew Ng的

UFLDL Tutorial

還有Yoshua Bengio(Deep Learning幾大山頭之一)的一個

http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf

更新一個Yoshua Bengio的書，Sample Chapter已經放出：

DEEP LEARNING

Deep Learning另一大山頭Geoffrey Hinton的個人主頁也是不錯的參考，放了一些介紹性文章和課件

Home Page of Geoffrey Hinton

因為最近被問到，最後再補一個我覺得可能很重要的：超神Michael Jordan(Andrew Ng和Yoshua Bengio的老師)的概率圖論

ufldl出了新的教程，感覺比之前的好很多。

從基礎講起，系統清晰。鏈接是 Unsupervised Feature Learning and Deep Learning Tutorial

我最近在學習，並做了一些筆記和編程作業。歡迎參考 http://blog.csdn.net/lingerlanlan

感覺這個教程特別適合初學者。

Stanford Andrew Ng的UFLDL Tutorial教程講的很好，適合入門，另外實踐的時候可以看看Torch7，或者pylearn2. 最近新出的caffe代碼寫的不錯，強烈推薦。

其實我覺得 @bhuztez的回答才是正解。。。

如果題主是一個深諳概率統計分析處理和概率理論的人，那麼我覺得也就不會出現看不懂入門paper這件事情了。從回答里可以看出，大家推薦的其實都是從一個neuron開始講起的NN，但是如果諸如簡單的分類器啊，perceptron啊之類的都看不太明白，還是從概率開始看起吧。然後進入機器學習的通識概念，然後看PGM，然後就可以看明白任何概率模型網路了，然後再去看神經網路才能體會多麼精妙而省事的設計啊，才會感恩這個世界的計算能力成長如此快速！

自然，我不理解題主的狀況，所以如果不對就摺疊了吧~

自然 Andrew Ng, Hinton都是大牛，入門講的自然極好~其實也看領域啦，如果圖像，可能得從ConvNet之類的源頭看起~NYU的Lecun也是鼻祖~

個人理解，Deep learning在網路結構方面以及訓練方面就是傳統的前饋式多層神經網路，只是deep ealrning在trainning的時候，需要進行一些預處理，或者叫做預訓練而已。只是你對神經網路熟悉了，deep learning你看一眼就會做了。

除了以上推薦的， Neural networks and deep learning 是一個非常好的入門（practical, intuitive, in depth) ，一本free online book，圍繞digit recognition話題講起，上面有非常使用的python code 可以作為個人implement的起點，非常實用。裡面embeded javascript動畫可以幫助你理解和學習一些很抽象的概念。

Multimedia Laboratory 我們實驗室對deep learning 的最新進展和相關論文做的整理。對初學deep learning和想了解相關背景的大家會很有幫助的。

神經網路，最優化理論，然後再深度學習相關的方法。比如自編碼器，懂神經網路之後就很好懂了，再加個稀疏項，就要稍微看點資訊理論把相對熵搞明白。

我學習的過程中覺得難的主要是數學，數學通了就像打通任督二脈一樣

Yoshua Bengio 正在寫的書《Deep Learning》，目前還在修改中，以下是pdf版。

鏈接：百度雲請輸入提取密碼密碼：ggww

Neural Networks and Deep Learning-《神經網路與深度學習》-pdf版本

這本書非常適合神經網路和深度學習入門，貫穿書中的例子就是MNIST手寫數據集的圖像識別，代碼都是用Python寫的。但是目前只有網頁版的，這裡提供一個pdf版本。

coursera的hindon大牛的課也是很贊。

推薦看Stanford Prof. Feifei Li的課程CS231n。very informative and systematic。Youtube能看video lectures. 可以以此為起點，掌握大的框架後，再具體深入學習和研究。CS231n的instructor之一Andrej Karpathy的博客很好讀，文章不多，但篇篇都是精品，很受歡迎的博客。

@ 達聞西

看了一下教程，gradient descent algorithm 推導，為何在最後代碼中沒有涉及learning rate( α )呢？遞推公式中是有這個係數的，或者說默認它是1 了嗎？而且在代碼中也沒有發現是在哪裡進行收斂性判斷的呢？

或者是說這種收斂性判斷是在調用的minFunc()函數中完成的？

你這明顯不是缺教程，你需要一個老師答疑。能問這問題的估計自學能力好不到哪裡去，沒個老師很難學的。當然我說的老師不一定是現實世界的老師，可能是某個學生網友，只要能回答你疑問的都算。