一天搞懂深度學習--李宏毅教程分享

看到一篇很贊的文章，分享給大家：一天搞懂深度學習

本文是2016 台灣資料科學年會前導課程「一天搞懂深度學習」的全部講義PPT（共268頁），由台灣大學電機工程學助理教授李宏毅主講。作者在文中分四個部分對神經網路的原理、目前存在形態以及未來的發展進行了介紹。深度學習的每一個核心概念在文中都有相關案例進行呈現，通俗易懂。一天的時間搞懂深度學習？其實並不是沒有可能。

深度學習 ( Deep Learning ) 是機器學習 ( Machine Learning ) 中近年來備受重視的一支，深度學習根源於類神經網路 ( Artificial Neural Network ) 模型，但今日深度學習的技術和它的前身已截然不同，目前最好的語音識別和影像辨識系統都是以深度學習技術來完成，你可能在很多不同的場合聽過各種用深度學習做出的驚人應用 ( 例如：最近紅遍大街小巷的 AlphaGo )，聽完以後覺得心痒痒的，想要趕快使用這項強大的技術，卻不知要從何下手學習，那這門課就是你所需要的。（關於深度學習的概述教程可見：http://www.cnblogs.com/liuyihai/p/8321299.html）

以下是課程大綱：

什麼是深度學習

深度學習的技術表面上看起來五花八門，但其實就是三個步驟：設定好類神經網路架構、訂出學習目標、開始學習，這堂課會簡介如何使用深度學習的工具 Keras，它可以幫助你在十分鐘內完成深度學習的程序。另外，有人說深度學習很厲害、有各種吹捧，也有人說深度學習只是個噱頭，到底深度學習和其他的機器學習方法有什麼不同呢？這堂課要剖析深度學習和其它機器學習方法相比潛在的優勢。

深度學習的各種小技巧

雖然現在深度學習的工具滿街都是，想要寫一個深度學習程序只是舉手之勞，但要得到好的成果可不簡單，訓練過程中各種枝枝節節的小技巧才是成功的關鍵。本課程中將分享深度學習的實作技巧及實戰經驗。

CNN和RNN網路

這段課程要講解卷積神經網路CNN和遞歸式類神經網路 RNN。

深度學習應用與展望

深度學習可以拿來做甚麼？怎麼用深度學習做語音識別？怎麼用深度學習做問答系統？接下來深度學習的研究者們在意的是什麼樣的問題呢？

下面是課程全部PPT：

深度學習吸引了很大的關註：我相信，你之前肯定見到過很多激動人心的結果。圖中是谷歌內部深度學習技術的使用趨勢，可以看到從2015年第二季度開始，使用量呈直線上升。本講義聚焦深度學習基礎技術。

大綱：

報告第一部分：介紹深度學習

報告第二部分：關於訓練深度神經網路的一些建議

報告第三部分：各種各樣的神經網路

報告第四部分：下一股浪潮

報告1：深度學習介紹

深度學習有3步：神經網路架構--學習目標--學習。

這三個步驟都是以數據為基礎的。

第3步：選擇最佳的功能函數。

從原理上說，深度學習非常簡單。

從函數的角度理解深度學習：第一步，是一個函數集；第二步，定義函數的擬合度；第三部，選擇最佳函數。

人類大腦的構成

神經網路：神經元

激活函數的工作原理

不同的連接會導致不同的網路結構

完全連接的反向網路：S型網路

極深網路：從8層到19層，一直到152層。

全連接的反向網路：矩陣系統

輸出層（選擇）

問題：

下圖中，總共有多少層？每一層有多少個神經元？

結構能自動決定嗎？

第二步：學習目標，定義函數擬合度。

例子：識別「2」

訓練數據：

準備訓練數據：圖像和相應的標籤

學習目標

損失：一個好的函數應該讓所有例子中的損失降到最小。

全局損失

第三步：學習！選擇最佳函數。

如何選擇最佳函數

梯度下降

梯度下降：綜合多個參數考慮的時候，你發現什麼問題了嗎？

局部最小值：梯度下降從來不會保證可以獲得全局最小值

反向傳播

可以做什麼？

第二部分：關於訓練深度神經網路的一些小建議

第三部分：各種各樣的神經網路