侃侃深度學習和AI

最近又看了Keras作者Chollet的兩篇文章（文章在附錄，一篇是些深度學習的局限性，一篇是寫深度學習的未來），確實有共鳴，正如每個行業、產業和事情的發展一樣，沒有東西是一成不變的，也沒有東西是永遠是最好的，事物總有發展的一個循環，從被埋沒，到被發現，到被質疑，到被認可，到盛極一時，再被質疑，然後到新的概念和思路把原來的方式做了更新的補充，經典的例子就是，牛頓第一定律、牛頓第二定律，當大家都認為這些是完全正確的時候，愛因斯坦提出了相對論，不是說牛頓的定律不對，只是他有他的應用領域和場景（宏觀運動的基本規律），而愛因斯坦也沒有麻木的相信，從而找到了更完善和精確的補充。

同樣，Chollet很尖銳的說出了當前深度學習的本質，而深度學習的本質恰恰也成了他的局限性，在深度學習中，一切數據都可看作為一個向量，即一切都是幾何空間中的一個點。模型輸入（可以是文本、圖像和信號等）和目標標籤首先會被「向量化」，即轉換成對應的初始輸入向量空間和目標向量空間。隨著輸入數據的經過，深度學習模型的每一層會進行一個簡單的幾何變換。這些層加起來，形成了一個非常複雜的幾何變換，也可看作是一系列簡單幾何變換的組合。這種複雜的幾何變換嘗試將輸入空間逐點映射到目標空間，變換的參數取決於各網路層的權重，而權重根據模型的當前訓練效果進行迭代更新，實現了一個黑箱映射。

說白了，就是，所謂智能，如果套用深度學習來解釋的話，無非是幾何上的從輸入到結果的映射關係，分類問題，其實是輸入數據重新變換映射到固定的分類上，是的，這樣理解深度學習沒有問題，但是如果我們光是這樣就理解智能，理解人工智慧，理解AI的話，那就太膚淺了，畢竟深度學習是機器學習的一個分支，機器學習是人工智慧一個分支。

但是，我們一定不會否認深度學習促進了現在很多人工智慧應用的落地，我也在一年前說過，深度學習使得人工智慧的技術以一種弱人工智慧的形式快速的可以實現很多細分行業的突破，而這一年，這個說法也在市場上得到了應驗，各種人工智慧的落地應用層出不窮，而判斷一個深度學習是否可以商用，更多的判斷是，泛化能力是否足夠，如果測試環境換了，同樣的模型還能不能有好的表現，如果泛化能力很好，那麼這是一個很不錯的模型，如果不行，最粗暴的方法就是加數據加數據（當然也有很多不粗暴的方法的，這就要看研究者的能力了），用Chollet的表述就是這是一種local generalization(局部泛化)。

對於local generalization的進化那就是extreme generalization（極端泛化）了，極端泛化其實就是一個類人的泛化能力，人類不是通過一個又一個任務訓練而學習的，人類對自身所處的環境、自己和他人都建立著多種複雜且抽象的模型，且可以使用這些模型來預測多種不同可能的後果，同時實現長期規劃，人類有能力將已有的概念融合在一起，用來表徵先前從未見過的事物，這個可以理解為就是深度學習與我們期待的人工智慧的差距了。

Chollet把extreme generalization理解為一種擬人化的智能模式，但是我認為這個的實現系統在構建」深度學習+」的模式下，人類做到了對事物的理解，具有邏輯和抽象推理，概念的提煉，類比推理的能力，這些都是當下在實現的東西，就像一個金字塔，深度學習變成了一個底層的基礎模塊，而不斷往上一層是每一個任務的適用場景的擴大，而這就需要結合更多方法，而這個才是漸漸接近我們期待的人工智慧。

附上兩篇文章：

1. https://blog.keras.io/the-limitations-of-deep-learning.html

2. https://blog.keras.io/the-future-of-deep-learning.html