Hinton神經網路課結束：感想與下一步計劃

05-06

由於第十六章沒有考核內容，而且講的東西相對來講比較過時（2012年時的「神經網路最近研究進展」），因此將沒有對應筆記。也就是說，第十五講的筆記是Hinton神經網路課系列的最後一篇。我在剛剛也完成了期末考試題的作答，這系列課可以畫上一個句號了

這門課上完，說說感想。可能稍微負能量，請擔待。另外，重申三遍：我非常尊敬Hinton，也尊重怹老人家的貢獻。我非常尊敬Hinton，也尊重怹老人家的貢獻。我非常尊敬Hinton，也尊重怹老人家的貢獻

這門課我最後在Coursera上打了三顆星（五星滿分）。考慮到我一直手鬆和Hinton的名望，這實際上不是一個特別高的分數。這門課之前，我看的是林軒田和白思理教授（John Paisley）的兩門機器學習課。兩門課上完以後我都有種意猶未盡的感覺，上的過程中也是覺得酣暢淋漓。這門課則不是，最後幾講我實在是咬牙才堅持下來，中間克服過好幾次半途而廢的念頭，最後完成的時候也不是意猶未盡而是如釋重負，因此筆記質量也有比較大的降低。我在上課前的期許是希望通過這次課能對深度學習有一個更深入的了解，目前看，這個效果並沒有達到，完成度不高；後面生成模型部分算是比之前知道得多一些，但是也只是知道概念而已

關於這門課的吐槽，我之前回答一個問題的時候提到過。當時我還沒有上生成模型這部分的課，因此擔心看法不全面。現在課程結束，我的想法並沒有什麼改變。在這裡我挑重要的說一下，像編程作業不是Python這種就不提了

首先，這門課內容已經比較過時了。這門課首秀大概是2012年，算是Coursera上比較早的一批課，當時好像只開過一期，後來Coursera平台有過一次很大的改動，每門課上線以後自動滾動開設，每兩周開始新的一期，這門課復活，但是視頻沒有更新——也就是說，課程內容是五年前的東西，而深度學習現在成果出得很快，兩年前的東西可能已經稍微有點過時（例如大名鼎鼎的花書，成稿到現在應該也就是兩年多，第三部分的很多內容都已經不在前沿了）。例如這門課就無法覆蓋SkipGram/CBOW、GloVe、GRU等內容，比較遺憾

當然，通過上課/看書了解研究領域的前沿知識可能得隴望蜀，那麼退一步，通過上課掌握深度學習比較基礎的知識應該不是苛求。很遺憾，在這一點上，至少我沒有滿足的感覺。對於機器學習這種課（這裡只談授課），我覺得有兩個講法。工業派的講法是吳恩達Coursera上的那種，指點思想，明確概念，讓學生能以最快速度了解一個體系，上手去用，完全屏蔽原理。這種教法，肯定不能說能打好基礎，但是說讓學生有一個概覽，那是沒有問題的；另一種學院派的講法，是林軒田、白思理和吳恩達CS229，他們的共同特點是能把原理講透，從基本原理上講清各種模型和數學工具之間的聯繫，讓學生對本原有清晰的認識，這是真正的打好基礎。（所以吳恩達真是名師，工業方法能講得好，學院方法也講得好）。但是Hinton這門課感覺，怎麼說呢，老爺子應該是不太滿足只說一個概念，有想把東西講深一點的想法，但是又不夠深入，當你擼起袖子準備跟著大爺深究的時候，啪，結束了。所以很多博客都認為Hinton的課難，我覺得與其說內容難，不如……哎反正你們都懂的。單說難度，白思理和林軒田的課都要難很多，但是兩個老師能把這東西講明白

最後，這門課里很多概念我懷疑都在Hinton自己的體系里。比如某些名詞我搜的時候基本也都是在各種前輩的HInton課筆記中才出現。這麼講的確是能開拓點學生的知識面，但是肯定也會影響授課的深度

當然，這門課並不是一無是處，它的一個優點是覆蓋面比較廣。比如從11講開始的基於能量的模型、一點概率圖模型的簡介和生成模型的介紹，我之前沒研究過，聽著感覺還可以，至少能大概明白是什麼（但是還是吃不透原理）

總而言之，對於深度學習新手而言，如果錢不是問題，還是買吳恩達的深度學習系列課程更合適。如果我有時間的話，估計會花這個錢的。理想狀態是好好看吳恩達的課，然後這門課大概看一下，不用深究，了解一下思想，就可以了

在上HInton的課時，我也在跟斯坦福的CS20，一門講TensorFlow的課。前面8講基本進度可以跟上，老師放出課件以後一天我可以看完。但是最近幾個事情讓我節奏發生了變化

最根本原因是我想趕緊把Hinton的課結束開始新的內容
前段時間春節假期似乎老師也在休假（老師越南人），導致春節期間的課件在前幾天才發。其中GAN的課件不外傳，VAE只有ppt（不是太詳細），沒有講義，如果想把筆記寫清楚，需要補充很多內容
最新的兩講，RNN和encoder-decoder，基本照搬了CS224的內容，沒怎麼講TensorFlow

事實上，最後一點也是CS20比較尷尬的地方：老師作為一個學術圈裡的教授，想讓她講出來很多好的工業界的實踐有點勉為其難。作為一門工具課，如果不講實踐也不講理論只講API，那麼不如翻手冊；如果要講理論，理論講多了又跟理論課沒什麼差別。而RNN和encoder-decoder是我現在在用的知識，我肯定不想只是草草帶過（因為有下一步的計劃），因此這兩講估計也要先跳過了

在Hinton的課結束以後，我會先把CS20從第13講開始做一些筆記。然後，會休息一段時間（主要是為了全力準備公司內部的AI考核）。再接下來，我想以三份NMT的入門講義為主，以CS224和Yoav Goldberg的Neural Network Methods for NLP為輔，好好深入看看詞嵌入、RNN、NMT等內容，做一套筆記出來。事實上，如果我是一名直博一年級學生，我可能會先看看Colins的統計NLP講義和Koehn的SMT教材，然後再轉到NMT方向上去。但是畢竟現在在工作，我也只能先看一些跟工作相關的內容，然後再是其它

之前一份宏偉的計劃（關於花書）已經涼了，希望這次我能開心地把新的計劃完成好