深度學習的研究領域是否有被過度誇大？

01-08

我是個機器學習領域的門外漢，最近經常在weibo和科技網站看到深度學習的字眼，感覺很神奇也很深奧，但偶爾在一些學術的論壇里也看到了不同的聲音，其實我一直在關注這個領域，卻是有一種感覺，很多時候那些專家大牛的宣傳能力比這些技術的實際效能要大很多，有沒有這方面的大牛，評論一番，讓我們批判式的思考一下

一方面，深度學習領域確實存在噱頭的現象，主要是在有些人利用傳媒說深度學習是在模仿大腦。從實際上來說，大腦神經科學的發展還遠遠不足以使我們找到足夠形成演算法的機制來形成智能，也還沒有能力去證明或者證偽深度學習於生物神經系統的相關性，更無法說明深度學習是不是真的像大腦。但是，深度學習在某些地方確實是受到了神經系統的啟發，比如說多層結構和卷積過程。現在只能說是受啟發，而不能說是模仿。不過我覺得隨著美國和歐盟兩個大腦研究計劃的深入，類比深度學習系統和大腦工作方式的相同點和不同點會在將來成為可能。

另一方面，這種「深度學習研究領域過分誇大」說法的產生還有完全相反的一面。除了媒體噱頭是真的誇大之外，學界還有一種對於深度學習方法的逆反應，表現出來就是會有一些人片面地說這個領域被過分誇大，而不去真正比較過去的系統和現在系統有效性的巨大區別。這種學術慣性又分為兩類，一類是那些耗費許多精力掌握了一些領域性知識的人，他們不願意接受機器不需要那些領域知識就可以得到很好結果的現實，這個在深度學習逐漸革命計算機視覺和語音識別上的過程中表現的尤其明顯；另外一類是機器學習界內部偏向於理論（特別是PAC理論）的人，他們過於擔心深度學習這種工程系統的泛化性和一致性，不願意接受其有效性的經驗性證明而只沉浸於那些擁有美好數學的簡單方法之中。

個人認為，深度學習的噱頭現象必須打壓下去，因為噱頭是到頭來最容易傷害一整個領域的東西。但另外一個方面，傳統的領域性學科應該逐漸接受深度學習的有效性，並將其作為基本工具之一來採用。同時，機器學習理論學家應該意識到泛化性和一致性證明的局限，理解那些「上界的上界」所得到的結果對於深度學習來說是極其偏離真實情況的，同時要拋棄對VC維之類概念的迷信，嘗試使用泛函空間（如Banach Space）中的概率論（特別要注意函數嵌套的作用）來解釋可學習性。

最後，奉上圖靈祖師1950年論文《Computing Machinery and Intelligence》中第三小節第一段的一句話：

「We also wish to allow the possibility that an engineer or team of engineers may construct a machine which works, but whose manner of operation cannot be satisfactorily described by its constructors because they have applied a method which is largely experimental. 」

「我們（在考慮圖靈測試中的機器時）也應當允許這樣一種可能，那就是一些工程師可能會建造一台機器，它能夠完成任務（通過圖靈測試），但其工作的原理卻未必能夠被其創造者所完全理解，這是因為他們採用了一種試驗的方式（來建造這台機器）。「

深度學習一點都不深奧，一點都不神奇，神經網路這個東西20多年前就有過，只是那時候硬體還沒發達訓練不出這種深度模型（而且當時沒有layer-by-layer pre-training, dropout這些概念）。它跟人的大腦不是一回事（人的大腦可複雜多了。。）之所以它這麼popular, 是因為這個東西能work! 對於工業界來說能work的東西才是值得追捧的東西，至於為什麼work, who cares. 至於深度學習的理論層面的東西，很多還是未知的。

懂？

有沒有被誇大，見仁見智。

我只想說一個字，真的很有用

分辨誇大很簡單，如果把deep learning跟大腦思維和強AI扯到一起就是誇大。

deep learning本質上還是一個統計隨機版本的基於泛函分析的圖像處理演算法，把圖像分塊之後變成一組基的近似組合。可以理解為JPEG壓縮演算法的類似物，只不過需要大量統計樣本，並且用的基不是三角函數而是在變換過程中生成的類似小波的特徵碎片。所以這個演算法具備奇高的壓縮比卻不精確，還需要大數據才能餵飽。它不適合用來壓縮和重放，但適合用來識別。

如果說deep learning類似大腦，倒不如說大腦視皮層太像JPEG了（而且還含有delta sigma信號），當時看到這個差點被雷死。

深度學習在學術界火是因為比賽一下幹了其他演算法好幾個百分點，一般演算法效果的提升都是1%這樣的提升。

深度學習在新聞界火是記者的緣故，非要跟人腦比，人工智慧更有話題性。其實深度學習就是個演算法，跟人腦沒有半毛錢的關係。

深度學習的圖像解析模型建立的越好，12306的購票系統壓力越大...........

機器學習是什麼?

是要讓機器讀懂客觀信息。然而需要人類智能的輔助，機器有的是數據製造和運算能力，至於製造什麼數據，怎麼運算數據，需要人類告訴機器，機器才能開始學習，由於機器運算能力超群，學習效率和效果可以非常強悍。

機器學習很強么？

只要數據夠，運算能力夠，機器學習很強。

機器學習應用廣么?

所有有機器的地子，都可以用到機器學習。

可期的未來是怎樣？

倫理範圍之內，一切皆有可能。

人工智慧、大數據、雲計算、物聯網研究領域哪個沒有被誇大，機器學習、深度學習、神經網路、NLP、Hadoop、MapReduce等，都是被過度誇大嗎，個人認為，雖然存在誇大成分，但並不是，無中生有。

我們處在智能時代、雲時代、數據時代，這樣一個並行的多智時代，更應該驕傲和慶幸，多智時代的技術種類，過於繁多，所以一定要多加了解，更要知道，這幾個常識：

1.深度學習大熱以後各種模型層出不窮，主流的深度學習模型有哪些？ - 人工智慧多智時代

2.機器學習的定義與起源，我國機器學習發展現狀和出路？ - 機器學習多智時代

機器學習和深度學習的快速發展，促進了人工智慧在各行各業的應用，讓我們一起來迎接，多智時代，給我們帶來的智能、經濟與文化的變革！

不談仿不仿照大腦的工作方式，就從已經發布的工作來看，還是很有用的，通用性很強。被誇大無非說的是在很多領域深度學習還是做不了的，或者是效果並沒有傳統的方法好。有用就行，要是遇到無法適用的領悟，換一種方法就好了嘛。

一直在關注，最近的看書和coding，DL是大坑，如果繞不過，就只能跳進去

拋開宣傳，深度學習對模式識別還是挺有啟發意義的，特別是逐層抽象的概念，我認為其目的是為了每一層之間更簡單的interpret，因為compact往往永遠優於complex(泛化)，而deep is for simple。自然界是符合簡單性原則的，這也是為什麼愛因斯坦晚年致力於大一統定理的證明，雖然他沒有成功，雖然沒有證據證明人腦也是這樣的，但是我覺得方向是對的，即便如此，我覺得離AI還是太遠了，機器學習的終極目的是把人類思考歸納經驗的過程轉化為計算機通過對數據的處理計算得出模型的過程，但是關鍵是人類思考歸納經驗的過程是怎樣的？目前還沒有定論，要想讓計算機有自我意識，必須給它這個。而現在的機器學習能幹的只是學習我們事先給定的模型來近似其內在規律而已，即使是非監督學習，而深度學習無非歸功於它更合理的模型以及相應更合理的學習演算法而已。

- It works -

我不清楚專家們是如何宣傳深度學習的，不過深度學習（至少在圖像上）每個季度都在創造歷史