Andrew Ng對 Geoffrey Hinton 的採訪：致敬老爺子的一路堅持！

01-26

為了從中學習一下 Ng 講課的好的風格，今天專門抽出時間去看了下他最近推出的 deep learning mooc 課程，希望自己下次再給學生講深度學習的時候能夠講得更好一些。

意想不到的是課程里竟然專門有個大插曲是採訪 Hinton 的，鏈接如下：

https://www.coursera.org/learn/neural-networks-deep-learning/lecture/dcm5r/geoffrey-hinton-interview

採訪時間40分鐘，是第一次聽老爺子這麼長的 interview. 他大體講述了自己在神經網路和 AI 方面四十多年的努力，一路聽來欽佩至極。之前對這位老爺子的了解就是： Godfather of Deep Learning, 大名鼎鼎的 Bool 的外孫，以及他發明的影響至今的各種 deep learning 的Landmarks：Backprop、RBM (及其學習演算法constrastive divergence) 、ReLU network、AlexNet、RMSProp、Dropout...等等。自己有幸和老爺子是愛大校友

但通過這次 interview 之後，對老爺子在神經網路和 AI 方面的一路堅持欽佩至極，70歲的人了思維依然敏捷，依然在 AI 的第一線科研當中。我大體總結一下他提到的一些關鍵的技術或者想法，以及背後的故事和啟發。

關於科研： "Develop your intuition, trust it and go for it. Dont be too worried even if everybody else says its nonsense." 這是老爺子給研究人員在深度學習和 AI 方面的建議。現在對於 AI 和深度學習，由於缺少深刻的理解，更多的是靠直覺去有新的想法去發展，去嘗試，誰也不敢下定論你的嘗試一定不 work。老爺子接著強調"if you think it is really a good idea, and other people tell you it is completely nonsense, and then you know you are on to something." 老爺子用自己在神經網路方面40多年的經歷告訴我們這一點，但也必須說一下有時候沒有太大成果的時候要 face reality，這是每個做科研的都要面臨的問題，畢竟還有一些現實的壓力。
這倒是讓我想到當前 DL /RL的研究現狀，大多最前沿的方向的思路都是被大公司或者大規模的研究組統治的，因為現在太多的想法需要投入很多人力物力和計算資源去實現，大的組織很高效的實現。所以大家盡量不要完全 follow 他們的工作，盡量和他們做的不是太一樣，這樣也許會有好的結果，不然就會出現一步趕不上不不趕不上的尷尬局面。僅僅是個人觀點。
老爺子的 backprop 不是全新的想法，但他使得這個演算法得到了大推廣，??得益於他大力的遊說 reviewer 讓他的文章發在了 nature 上。
其實老爺子的很多發明都是經過漫長的嘗試摸索最終使其 work 的，relu，dropout，wake-sleep, distillation這些都是。
老爺子有些可惜自己關於 identity initialization 的想法沒能最終正式的 formulate 讓它 work 起來，不然沒有ResNet 什麼事了。
最後談一下capsule 的想法，其實這個想法 hinton 很早就有了（和他的學生 Tijmen http://www.cs.toronto.edu/~tijmen/tijmen_thesis.pdf， chap 2.3），我第一次聽到這個想法的討論還是我博士期間2014年的時候，我們幾個同事在一起討論 capsule是不是 hinton 在深度學習的下一個突破。最近hinton 在 mit 的一個 talk 也講。（鏈接在下面）

capsule 的簡單想法就是將每層的神經元進行重新有結構化的組織形成一個 capsule，這個 capsule 里包含物體識別的全部信息，比如view point, color 等等，然後將所有的 capsule 的輸出進行投票作為最終輸出，其實這一點是product of experts的想法。

關於 capsule 我覺得目前還沒有找到一個好的如何定義內部結構的方式，使得他能夠在更有挑戰的任務上工作起來。還是一個很值得努力的方向。

老爺子還在 talk 里用拼四面體的遊戲開了 MIT 教授的玩笑，?? What's wrong with convolutional nets?

就寫到這裡，附一張老爺子小時候的照片，膽子大得很！看來多少年來一直沒變，一直敢在自己堅信的領域堅持這麼多年！