深度學習會不會淘汰掉其他所有機器學習演算法?

01-05

深度學習的巨大成功會不會導致像貝葉斯技術、隨機森林、條件隨機場等其他一切演算法被淘汰掉?因為深度學習既是一種能從數據中自動學習到特徵的無監督演算法，也是一種根據給定特徵和數據進行有監督學習的演算法，可以說，有了深度學習，其他機器學習演算法就有點多餘了，以後搞機器學習，基礎課是否只需要掌握深度學習就行了?

不會。

另請參見強化學習（RL）是否是人工智慧的關鍵之處，能夠給人工智慧帶來質變？ - 知乎用戶的回答

不會。

深度學習也屬於統計學習方法。人工神經網路的研究由來已久，一直與其它經典機器學習演算法並存，沒有淘汰誰一說。這些演算法各有優劣，具體用哪種要根據應用場景靈活選擇。舉個例子，就拿最近很火的 AlphaGo 來說，由於快速走子（fast rollout）要達到微秒級的響應速度，神經網路目前還做不到，因此 Google DeepMind 採用了邏輯斯諦回歸（logistic regression）演算法。有機器學習背景的同學都知道，邏輯斯諦回歸作為一種線性模型，大概是最基本的機器學習演算法之一，然而並沒有像題主說的「有點多餘」，相反仍然有廣泛的應用和研究。

深度學習大佬 Yoshua Bengio 在 Quora 上回答一個類似的問題時，有一段話講得特別好，這裡引用一下：

Science is NOT a battle, it is a collaboration. We all build on each other"s ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking!

是的，科學不是戰爭而是合作。任何學科的發展從來都不是一條路走到黑，而是同行之間互相學習、互相借鑒、博採眾長、相得益彰，站在巨人的肩膀上不斷前行。機器學習的研究也是一樣，你死我活那是邪教，開放包容才是正道。

不會呀，從某些角度看，深度學習更多是提供了一種學習的範式，即多層結構、海量數據，端到端訓練等。但是並不等於這種方法就一定能夠取代所有機器學習演算法。

從機器學習現有的研究內容看：

一方面，很多針對具體問題的演算法，通常在深度網路的上層還是要結合另一個模型的。比如Alan組提出的FCN+CRF。比如前段時間很多講Deep learning 與 metric learning 結合的問題等等。

另一方面，機器學習還有其他很多方面呀，比如強化學習（reinforcement learning）、自步學習（self-paced learning）等等

從深度學習的不足點看：

前面也說了，深度學習現階段是有一些固定的學習形式的。就拿數據量一點，多數深度學習模型就很難繞開。這其實和人類的學習過程還是相去甚遠的。很多小樣本問題還是要靠統計推理的方法解決的。

不會，都說貝葉斯學習要回歸了，看VAE、GAN最近挺火的，圖像生成算是一個應用方面吧；圖像分割有CRF as RNN，也有人做Deep Neural Decision Forests，其他演算法怎麼會沒落？

我覺得深度學習給人很成功的印象原因之一在於它改變了解決問題的方式，以前可能需要分析得到解析解，從下到上的過程；而在難以分析得到解析解的情況下，DL通過數據經由訓練學習到想要的特徵。以前看起來其他演算法難以解決的任務現在DL都可以做到，令人震撼故而驚嘆。

DL的研究者們將其應用領域擴展，估計也考慮到了該領域原有機器學習演算法的特性，結合才催生了前述的幾個演算法例子。以前的演算法也是基礎，才能有後續的故事，不積跬步無以至千里，致前人以敬意。

建議複習一下NFL理論。No Free Lunch

不會。

我從以下幾個角度來回答：

1) 我把題主的問題轉述為：「深度學習是否可以在所有任務上取得比非深度學習演算法更好的表現？」。假如這個問題的答案是肯定的，那麼深度學習會淘汰掉其他機器學習演算法；反之，則不會。我們先來看看現在已有的進展。深度學習演算法已經在圖像和語音領域取得了突破，成為新的state-of-the-art。但是在其他領域，比如自然語言處理領域，雖然有一些進展，但是尚不足以稱之為突破。從這個角度來說，深度學習演算法還沒有在所有任務上超越其他演算法。

2) 我們都知道，深度學習演算法成功的關鍵之一是大量標註數據。但是在很多實際應用中，比如生物領域，獲得標註數據的成本很高。這將限制深度學習演算法在這些領域的應用。

不會。

1、現在的深度學習主要還是深度神經網路。深度可能會繼續成為趨勢或標配，神經網路未必。

2、工程問題除了要考慮精準度外，還要考慮成本。很多問題上，根據No Free Lunch理論，普通機器學習演算法性能可能要優於深度神經網路。

3、入門同學不建議直接入坑深度學習，還是要學學機器學習演算法。熱點是不斷變化的，光追逐熱點的話，不利於深入研究。近期南大周志華老師提出了深度隨機森林，雖然目前只實驗了小數據，但已經在給目前的深度神經網路降溫了。

不會, 不同學習演算法孰優孰劣這個問題已有理論方面的研究. 沒有免費的午餐定理(No Free Lunch Theorem)[1][2]告訴我們, 對於任意兩個學習演算法 $mathcal L_a$ 和 $mathcal L_b$ , 如果在一些問題上面 $mathcal L_a$ 比 $mathcal L_b$ 更好, 那麼一定存在另外一些問題使得 $mathcal L_b$ 比 $mathcal L_a$ 更好. 也就是說, 脫離具體問題, 空談哪個演算法更好是沒有意義的, 因為如果考慮所有可能的問題, 那麼所有的演算法都一樣好.

神經網路由於能自動的學習合適的數據的表示, 因此更適合於圖像, 語音, 文本這種數據的原始表示和數據的特徵之間相差很大的情況, 這也是現今深度學習在這些領域能取得重大進展的重要原因. 而另一方面, 仍然有相當多的問題, 其數據的原始表示和數據的特徵之間差別不大, 這個時候, 使用深度學習開銷和性能將比不過經典方法.

參考文獻

[1]. David H Wolpert. The lack of a priori distinctions between learning algorithms. Neural computation, 8(7):1341–1390, 1996.

[2]. David H Wolpert, William G Macready, et al. No free lunch theorems for search. Technical report, Technical Report SFI-TR-95-02-010, Santa Fe Institute, 1995.

[3]. 周志華著. 機器學習, 北京: 清華大學出版社, 2016年1月.

深度學習是機器學習的一類技術，它通過分層結構的分階段信息處理來探索無監督的特徵學習和模式分類。深度學習的本質是計算觀測數據的分層特徵，其中高層特徵由低層得到。深度學習方法發展迅速，目前有受限玻爾茲曼機RBM、深度置信網路DBN等。深度學習是從機器學習中的神經網路發展而來的，由於的到大數據和計算存儲資源的支持而發展起來的。