機器學習，深度神經網路等方法是否是正確的方向？

01-06

人工智慧現在層數越來越多，訓練集越來越大，是否這麼走下去是正確的方向？（肯定沒標準答案，聽聽大家的意見）能否有人介紹一些在研究不一樣的人工智慧理論的實驗室？

我認為，是現實的研究需求帶來的演算法方向改變。

【任何時代的主流的演算法，應該是與當時的計算能力、樣本採集能力相適應】

我們看到，SVM在過去的很長一段時間內發揮了巨大的貢獻，其思想的正確性這裡不提，在這之外，SVM有兩個決定性的優勢：

1.由於較低的VC維，其對樣本量的需求較神經網類的演算法少很多很多。

2.計算時間相對合理，我們可以方便的做實驗。

如果我們回來審視SVM和深度學習之間思路性的區別，我們可以定性的發現：

【SVM很顧及計算量的問題，很大程度上追求了計算能力的收益；深度學習則對計算量很慷慨，而更關注結果質量的提升】

但回顧我們近年來的發展，雲計算讓每個研究人員都可以享受到超算的方便；GPU計算更是讓我把超級計算機搬到了自己的辦公室。個人計算機的實際計算能力近幾年提升了近百倍，1080p的圖片的FFT現在隨便拿個遊戲本就可以做到每秒幾千次。原來預計需要訓練1年的演算法，現在3天搞定。在這樣一個時代，我們自然提出了這樣一個問題：節約出來的時間用來幹什麼？沒錯，我們需要的是更強大的演算法，讓我們能夠得到更好的結果。

【更快的計算速度，更多的樣本（基於大數據獲取），沒有這些前提，演算法的優劣就是空談】

我個人認為，就現今的研究狀況來看，計算能力已經遠遠高於了樣本的獲取能力（也高於研究人員利用高性能計算的能力），所以目前本人新開展的一個比較重要的方向就是如何利用虛擬方法構建出大量的樣本。

【這也解釋了，為什麼近年來大型IT公司在特別多的問題上研究進展遠遠高出了純學術圈，其中一個重要原因是數據的持有量】。

【最後要說的是，科技在進步，我們無法準確的知道之後科技發展的趨勢是什麼，所以我們也很難說出具體方向，頂多也就是通過相關學科發展，估計幾年後的趨勢。雖然人工智慧和人比還差很多，但我們在很多領域科技已經超過人的極限了，人使用的思考模型是重要參考，但是不是最「聰明」的方法就不一定了。】

有時間可以去讀一讀兩位大牛的AMA （Michael Jordan, Geoffrey Hinton）

AMA Geoffrey Hinton : MachineLearning

AMA: Michael I Jordan : MachineLearning

機器學習的人乾的事情是什麼？是擬合。

圖片識別是擬合，評判棋局也是擬合。

而 NN 提供了一個極為通用的擬合框架。

現在的深度學習網路還真是工具，真正的可解釋性的科學階段還沒有到來，希望能快點到來^^

在工程中構造一個函數來擬合輸入輸出以滿足某些場景的需求這時神經網路是一個很好的選擇模型簡單有高效的演算法沒太高門檻誰都可以做只要樣本夠多可以搞定一切任務

但這是某種定義下的人工智慧研究而不是人類智能研究

不知道題主是不是想問研究人類智能的方向，如果是這個意思，當然不是啦。

人類智能是另一回事。顯然不是人類能研究的東西。

真心覺得題主這個問題更接近一個哲學問題而不是科學問題。

人工智慧是一個太大的話題了，究竟什麼才是人工智慧？通過圖靈測試就是我們的最終目標了么？如果不是，那麼人工智慧的最終目標又是什麼呢？

我覺得所謂的人工智慧，是一個大方向，更重要的，是一個過程。我們時時刻刻都在為了這個目標而努力，但是不要局限於它。就像共產主義不也是我黨的一個終極目標么，那現在的做法又是否是正確的方向呢？深度學習也是這樣，可能現在誰也不知道他是否是人工智慧正確的方向，也不應該以實現人工智慧或者模擬人腦來要求它，懷著這樣的目的勢必是會走偏的。它只是解決現下很多識別問題的一個很有效的方法，也是我們在理解識別問題過程中的一個很大的突破。它不見得會指引我們走上真正的人工智慧之路，但是必然會加深我們對這個問題的理解。

所以我覺得真心不需要在它是否「正確」這個問題上畫太多心思，只要知道它「work」，而且通過實踐證明很有研究下去的價值，就足夠了。畢竟對於智能是什麼，我們了解太少，而且永遠不夠，就好像古人也許會考慮「諸葛連弩是不是高效大規模殺傷武器的正確方向」一樣，我們只是看到的還太少。

不知道這樣的回答是不是符合題主的要求，至於一些其他的人工智慧方面的研究，就請大神們介紹了，我自己也很感興趣～

首先是數據越來越多、越來越高維，模型的表達能力就相應需要提升。模型越複雜，訓練的難度就越大。神經網路在模型規模的伸縮上相當方便，訓練的方法沒有隨著模型的變化而變得非常複雜，這一點相當適合產業化。

神經網路還有個很重要的好處就是模型通用化，對產業而言，搭一次基礎設施能重用到很多很多應用當中去，這個成本的節省太有價值了。

然後，最近Hinton搞模型壓縮的研究又為學習好的模型輕量化、實時化呈現了前景。

所以，神經網路在學術的研究和產業的應用還是在深化階段。

技術是會發展的，你科學功底好就可以緊跟技術前沿。走在生產力前沿不掉隊就對了，沒有什麼技術是可以讓你畢其功於一役的。

還有，能不能不叫人工智慧，太泛了。數據科學、模式識別、機器學習等等，雖然內容接近，但動機不一樣，側重點也就不一樣了。所以我們跟外行人聊天才用人工智慧這樣的辭彙

正如你所說的「肯定沒標準答案」。最近表現優異的德州撲克AI Libratus就沒有使用深度神經網路，用的是counterfactual regret minimization演算法（屬於傳統的AI方法）。

分享一下CrossValidated上amoeba的回答：

Universal Approximation Theorem表明，一個「淺度」神經網路（有一個隱藏層的神經網路）可以逼近任何函數，也就是說，淺度神經網路原則上可以學習任何東西。因此可以逼近許多非線性激活函數，包括現在深度網路廣泛使用的ReLu函數。

既然如此，為什麼大家還要用深度網路？

好吧，一個樸素的回答是因為它們效果更好。下圖是Goodfellow等著《深度學習》中的一張圖片，表明對某個特定問題而言，隱藏層越多，精確度越高。在其他許多任務和領域中同樣可以觀察到這個現象。

我們知道一個淺度網路本可以做得和深度網路一樣好，但是事實往往並非如此。問題來了——為什麼？可能的答案包括：

也許一個淺度網路需要比深度網路更多的神經元？
也許我們目前的演算法不適合訓練淺度網路？
也許我們通常試圖解決的問題不適合淺度網路？
其他原因？

Goodfellow等著《深度學習》為上面的第一個和第三個答案提供了一些理由。淺度網路的神經元數量將隨著任務複雜度的提升進行幾何級數的增長，因此淺度網路要發揮作用，會變得很大，很可能比深度網路更大。這個理由的依據是很多論文都證明了在某些案例中，淺度網路的神經元數量將隨著任務複雜度的提升進行幾何級數的增長，但是我們並不清楚這一結論是否適用於諸如MNIST分類和圍棋這樣的任務。

關於第三個答案，《深度學習》一書是這麼說的：

選擇深度模型編碼了一個非常通用的信念，我們想要學習的函數應該涉及若干較簡單的函數的組合。從表徵學習的視角來說，我們相信正學習的問題包括發現一組差異的底層因素，這些因素可以進一步用其他更簡單的差異的底層因素來描述。

我認為目前的「共識」是上述第一個和第三個答案的組合是深度網路有效的原因。

但是這離證明還很遠。2015年提出的150+層的殘差網路贏得了多項圖像辨識競賽的冠軍。這是一個巨大的成功，看起來是一個令人難以抗拒的越深越好的論據。

然而，2016年提出的廣殘差網路（Wide Residual Networks）以16層的網路超越了150+層的殘差網路。

Ba和Caruana在2014年發表的論文《Do Deep Nets Really Need to be Deep?》（深度網路真的需要那麼深嗎？）通過模型壓縮方案，用淺度網路模擬一個訓練好的深度網路，對某些深度網路而言，模擬它們的淺度網路能表現得一樣好，儘管直接在相應數據集上訓練淺度網路無法達到這樣的表現。

所以，也許真正的答案是上文提到的第二個答案。

正如我一開始說的那樣，現在還沒人確定自己知道真正的答案。

過去10年來，深度學習方面的進展令人驚嘆！然而，大多數進展是通過試錯法得到的，我們仍然缺乏對到底是什麼讓深度網路起效的基本理解。甚至，對到底什麼是配置高效的深度網路的關鍵這個問題，人們的答案也經常變來變去。

Geoffrey Hinton在神經網路方面工作了20+年，卻長期沒有得到多少關注。直到2006年發表了一系列突破性的論文，介紹了訓練深度網路的有效技巧——在梯度下降前先進行無監督預訓練。之後很久的一段時間人們都認為無監督預訓練是關鍵。

接著，在2010年Martens表明Hessian-free優化的效果更好。在2013年，Sutskever等人表明隨機梯度下降加上一些非常聰明的技巧能表現得更好。同時，在2010年大家意識到用ReLu代替Sigmoid能顯著改善梯度下降的表現。2014年提出了dropout。2015年提出了殘差網路。人們提出了越來越多有效的訓練網路的方法，10年前至關重要的洞見在今天常常被人厭煩。這些大部分都是由試錯法驅動的，我們對為什麼某種技巧效果這麼好，另一種技巧效果不那麼好知之甚少。

我們甚至不知道為什麼深度網路達到表現高原；10年前人們歸咎於極小值，但現在人們不這麼看了（達到表現高原時梯度趨向於保持一個較大值）。這是一個非常基本的有關深度網路的問題，而我們甚至連這也不知道。

（以上由論智節譯，基於cc by-sa 3.0 with attribution required許可，如需轉載，請按許可條款規範轉載。）

個人觀點：非馮諾依曼體系的計算和生物層面上的腦科學研究可能是比Deep Architecture更正確的方向。

硬體層面對神經計算的模擬有個叫Spiking neural networks的東西，這東西本身是個神經網路模型，只不過關於它比較吸引眼球的是相關的硬體層面研究，隨便貼兩個研究組的頁面，是Stanford和Univ. of Manchester的

http://web.stanford.edu/group/brainsinsilicon/goals.html

http://apt.cs.manchester.ac.uk/projects/SpiNNaker/project

一直很感興趣可惜沒什麼時間研究下，大概的感覺還是沒那麼底層，個人覺得人工智慧如果真能實現的話，最終突破還是得靠一些生物和物理的基礎研究。

其實看人工智慧的發展過程，並沒有唯一一條正確的方向。

最主要的還是根據當前的問題和資源，找出最合適的解決方法。從當初的Rule Based, 基於統計的學習方法，和現在神經網路的再次流行，誰也不知道哪一個方向是對的，也許都是對的。

各個方向上都有人在做開拓者，不過肯定是有一些方向更加的熱門一點。

深度神經網路現在很熱門，但不一定是唯一的方向，不過這條道路還沒有走完。

目前在深度神經網路上還有很多問題沒有答案，比如最簡單的一個，如果擁有無限的資源和數據，神經網路可以不停擴張下去嗎？會不會到某個點，比如說，100層的時候，準確率就不能再提高了呢？現在還沒有到這個極限，所以還會繼續嘗試下去的。

從另一個方向來說，其實人來識別一個圖像，或者一個物體，並不需要想神經網路一樣要看過成千上萬張圖像才能知道某個東西是貓，某個東西是狗。關於人的大腦怎麼存儲和抽象物體，現在應該還沒有很好的結論，那麼現在深度神經網路並沒有回答這個問題。

空談趨勢只會耽誤發展，在深度學習迅猛大熱，迅猛發展的今天試圖蓋棺定論是徒勞的。

機器學習涉及的問題之廣不是現在的深度學習所能一人包攬的，但是其引發的學界的工業界的改變（地震）將深刻的影響之後機器學習的發展。

以我淺薄之見，現在工業界已經走到了學術界的前面，離開了comfort zone，趟開了一片新的戰爭迷霧。但是那裡面只有deep learning么？我不這麼認為。

Theory is beautiful, but please show me the results.

至少、、、在圖像和語音方面、、、deep learning現在性能處於最好或者最好之一、、、

真正的人工智慧還有很長的路要走

人工智慧的方向多了去了。。。。。。大派主要是邏輯派和機器學習派。其中邏輯派也分很多，稍微實用點的主要是multi-agent，機器學習派也有那麼一大堆，不過大多數研究的使用範圍還是比較窄的。

如果一定要選一個現在已經有的方法來看誰離真正的強人工智慧最近，實話說我覺得神經網路真的有那麼絲製造出強人工智慧的可能性，別的理論看起來都沒法平滑的擬合出類人智能這樣的複雜函數出來。如果結合認知學，用神經網路和別的東西組合一下，再使用比較標準的數據結構不斷的訓練，誰知道會不會產生類似意識這種玩意。。。。。。