人工智慧的自我提升是可能的嗎？目前有什麼不可破的技術障礙嗎？

01-03

人工智慧
本題已加入圓桌 ? 漫談機器智能，更多「人工智慧」相關的話題歡迎關注討論

In principle, recursive self-improvement is possible indeed! Let me go back a few decades. In the 1970s, my goal became to build a self-improving AI that learns to become much smarter than myself, such that I can retire and watch AIs start to colonize and transform the solar system and the galaxy and the rest of the universe in a way infeasible for humans. So I studied maths and computer science. For the cover of my 1987 diploma thesis, I drew a robot that bootstraps itself in seemingly impossible fashion. This thesis on "learning to learn」 or L2L was very ambitious and described first concrete research on a self-rewriting "meta-program" which not only learns to improve its performance in some limited domain but also learns to improve the learning algorithm itself, and the way it meta-learns the way it learns etc. In the thesis, I applied Genetic Programming (GP) to itself, to recursively evolve better GP methods. This was the first in a decades-spanning series of papers on concrete algorithms for recursive self-improvement, with the goal of laying the foundations for super-intelligences. I predicted that in hindsight the ultimate self-improver will seem so simple that high school students will be able understand and implement it. I said it"s the last significant thing a man can create, because all else follows from that. I am still saying the same thing. The only difference is that more people are listening.

Now it is important to understand that true L2L is much more than just traditional "transfer learning" from one problem to the next. True L2L means learning the credit assignment method itself through self-inspecting, self-modifying code. True L2L may be the most ambitious but also the most rewarding goal of machine learning. There are few limits to what a good metalearner will learn. Where appropriate it will learn to learn by analogy, by chunking, by planning, by subgoal generation, by combinations thereof - you name it. The challenge is to ensure that the code』s self-modifications are really beneficial to the learning agent in the long run, taking into account that early changes of the learning algorithm are setting the stage for later ones, which makes credit assignment complicated. My G?del machine of 2003 was the first fully self-referential universal metalearner that was optimal in a certain sense, typically using the somewhat less universal Optimal Ordered Problem Solver for finding provably optimal self-improvements. However, it was optimal only in a theoretical sense that is not very practical. So our work is not finished yet! More information and papers on L2L are here http://people.idsia.ch/~juergen/metalearner.html and here http://people.idsia.ch/~juergen/goedelmachine.html

Juergen Schmidhuber 為機器之心 | GMIS 2017 全球機器智能峰會嘉賓，知乎賬號由Juergen Schmidhuber授權，機器之心代為註冊和運營，以上為Juergen Schmidhuber的英文版答案，以下為機器之心翻譯答案供大家參考。

原則上，可自我改進的人工智慧當然是有可能出現的，讓我們回顧一下幾十年以前。

在20世紀70年代，我的目標就是構建一個自我提升的人工智慧，可以通過學習讓自己變得甚至比我更加聰明，這樣我就可以退休了，看著AI開始殖民外星，將太陽系、銀河系和宇宙的其他地方以人類不能企及的方式納入版圖。所以我開始學習數學和計算機科學。在我1987年畢業論文的封面，我描繪了一個以看似不可能方式引導自己的機器人。這篇「學習如何學習」或L2L論文在當時是雄心勃勃的，第一次描述了可自我編寫的「元程序」。它不僅可以在某些有限的領域改善自己的表現，也可以改進學習演算法本身，改進自己改進演算法的方法……這是數十年來首篇針對遞歸自我完善的具體演算法的論文，目的是為超級人工智慧奠定基礎。

我超前地預測到：可以無限自我改進的程序將會變得非常簡單，高中生就能理解並應用它。我曾表示這是人類可以創造的最後一件作品，因為其後的一切都將都根植於此。我還將繼續宣揚自己的看法，直到更多的人接受它。

需要注意的是，真正的L2L不僅僅是傳統的「遷移學習」，從一個問題到另一個問題。真正的L2L是通過自我檢查、自我修改代碼的方法來獲得收益的方式。真正的L2L或許非常有野心，但也是在追尋機器學習中最有價值的目標。一個好的自學習程序可以發現自己面臨的限制。在合適的時候，它將通過類比學習進行學習，通過分塊，通過子目標生成，通過組合等你能想到的任何方法來提升自我。我的G?del是第一個完全自我參考的通用元學習程序，在2003年就被開發出來了，它在某種意義上是最優的，通常使用一些較不普遍的「序列最優問題解決器」來找到自我提升的可靠方式。然而，它只是理論上可行，並不非常可靠。所以我的研究還未完成。有關L2L的論文和其他信息可參閱：http://people.idsia.ch/~juergen/metalearner.html 和：http://people.idsia.ch/~juergen/goedelmachine.html

我盡量用最簡單的話語來回答

#####

目前的人工智慧，用數學抽象來說，就是一個「預測公式」的過程

也就是說，機器認為自己所做的這個任務是存在一個「最終公式」的

這個「公式」的意思，也就是說，人類給它一個輸入，它會給人類一個輸出

凡是人工智慧（機器學習），目前都是這個路數

圖片識別的，你給它一個圖片，它告訴你這圖片是啥

語音識別的，你給它一段語音，它把這語音翻譯了

或者是對話類別的，你說一句話，它回你一句話

這一切的一切，都是滿足這個條件的

人=輸入

機器=輸出

如今的人工智慧研究的就是輸入與輸出之間的那部分東西。

這部分東西，我簡稱「公式」，就是一套數學的體系

這套數學的體系，是由數值優化所構成的，無論是哪一種模型，都是數值優化

分類問題，可能是求支撐面，比如SVM，也有可能是求損失函數，比如CNN

其他類別的問題，從宏觀上來說，也跳不出這個框架，無論是基於統計學的（先驗似然），還是基於凸優化的，或者是基於圖模型的

#####

說到這裡，你應該已經懂了

機器的目的，並不在於「創造」，而在於「求解」

對於每一個任務，它最終的目的都是希望能夠把這道題完美的解答出來

但是由於變化太大太多，即使以機器的計算，也很難完成任務，才會使用近似的方法，去估算這個「公式」

#####

就包括現在很多人看到的對話已經非常逼真的一些程序

在其背後，依然是一個尋優的過程

一般人類，你和人聊天，不一定會認真去考慮接下來說什麼

但是機器就不一樣，它之後講出來的每一句話，除非它解答不出來，否則都是在一些候選項裡面選擇一個最優的。這一點不會有任何例外

而，這種選擇的機制，是人設定的

機器只能處理數據，並根據數據間的關係，去盡量的求解出人們給它設定的那個「公式」

但是機器並不會自己去改寫這個公式

當然，也有一些可以自適應的處理方法

但是這些方法只是在人類所設定的範圍內，自動變化。不會超出這個範圍去做事

謝邀。

人工智慧的最高目標是自學習、自適應、自進化。

自學習是從環境中識別出規律。早期AI沒有自學習能力，主要是利用人類所提供的啟發性知識縮小解空間、加快求解過程；後來的自學習主要是專家系統，主要提取人類專家的領域知識，表達為機器可處理的知識，但這個提取過程是由知識工程師以離線方式取得並錄入，並非計算機自動提取；再後來計算機積累了大量的數據，人類經驗還不足以從短期內迅速積累起來的海量數據中歸納出知識或經驗，所以人工智慧就從知識處理走向了數理統計，先是知識挖掘，後來就是數據挖掘，直到現在的深度學習，但這種學習和人類的學習還是有所不同的，歸根到底是在人所劃定的領域或區域內提取事物間的規律，還不存在跨領域學習的能力。

自進化是自主改變自己的系統結構和功能。物理結構目前根本不可能，少量的變形不能算，系統功能取決於系統結構，結構變形只不過是在預定功能中進行選擇而已，不能算真正的進化。但信息連接結構的調整，就已經很平常了，比如，IP的網路路由協議，但這種進化仍然是限定領域、限定功能。

自適應是當環境變化後隨動這種變化。自適應現在在控制領域其實已經比較普遍，低級的如各種反饋控制，高級的如自動駕駛。

人類的智力活動包括低級神經活動，如聽說讀寫走跑跳；高級心理活動，最核心的就是符號思維能力。由於神經網路的進展比較快，所以本輪人工智慧的突破主要就體現在視覺、聽覺、走跑跳之類，但知識處理的關鍵在數學，IT的本質還是形式自動機，形式邏輯沒有本質的突破，那麼人工智慧也就是計算能力在量上的疊加。

目前的來看，人工智慧的計算能力已經遠超人類，但知識處理能力還非常差，原因首先在於常識，人類在任何一個領域，專家都需要積累數百萬以上的常識作為學習、推理、構造解的背景知識，而之所以被稱為常識，就在於常識根本就是被認為眾所周知的，潛意識中都是被忽略掉的。在一般的人工智慧中，這樣的常識都被程序員自動嵌入到系統中了，所以這樣的人工智慧由於是硬編碼為程序代碼的，而系統智能中那些聽起來非常高大上的東東如果脫離了這些常識根本就是白痴（連最基本的是大是小都無法判斷了），所以根本就無法自我改進。

舉個簡單的例子，我現在正想通過做一個鬥地主的程序來實現一個較為通用的人工智慧系統，但我們拿到一副牌就能簡單判斷的事，就很難處理：兩張2算多算少？算大算小？應該如何組合？根據不同的組合，該如何構造出牌策略？對方出了一張牌，該如何配合或阻擊？這些如果都編到程序中，系統就簡單多了，但這就沒有通用性更不可能有什麼改善的可能了，這最多算是應用了人工智慧技術的專用程序。但如果要把這些內容提出來，可以從外部讓不同玩家的根據自己的經驗輸入，那就非常麻煩了：知識庫就會過於龐大，更麻煩的由於這些知識的結構性非常差，處理效率極端低下。

比如，我們拿到一手牌25張，可以有各種組合，那麼怎麼挑出合理的牌型，挑牌過程寫個程序是再簡單不過了：進化演算法、蟻群演算法，分分鐘搞定的事。但決定牌型結果的是如何判斷某牌型下A234的順子和三張5帶對2哪個更有價值。

所以在我來看，如果沒有一個基礎的常識庫，那麼人工智慧就不可能有什麼進化、自主改善的可能

其實只是數據集的問題而已，如果你將世界所有的信息數據作為神經網路的輸入，而輸出值設定為能否存活下去，那麼其實這個AI就和現存的正在進化著的所有生物無異了。

隨著不斷的模擬過程，AI自然就能慢慢學會規避風險，搜尋能量(覓食)，自我迭代（繁衍）。而之後的發展科技，建立更好的社會制度，探索未知的宇宙，都是衍生品，因為這些過程都能提升生存下來的概率。

目前實現的難點可能就是如此巨量的數據如何做量化，幾乎要集成所有類型的感測器，耗費巨量的存儲和巨量的計算資源。

當然，資源少有少的做法。比如採取放養策略，即等待AI從坐井觀天開始，慢慢進化出越來越多的感測器，不過這個過程么估計少說要幾百年。而且容易被滅絕，比如哪天斷個電可能就沒了。

不過好在現在有互聯網，說不定你現在開發一個AI種子上傳到雲端，讓它不斷備份和進化自己，就能在幾百年後開花結果了。

在圍棋之前，google的一個人工智慧項目就是開發一個AI，能夠自動搜索互聯網上有關貓的資源，然後用這些資源訓練自己，最後這個程序就能在人類新上傳的圖片中識別出貓這個東西了。

The only principle way is nonparametric Bayes.

Here is a justification. The problem is essentially to dynamically increase model complexity. Then we need a criteria to determine the optimal way to do so. So it is essentially a model selection problem. A principle way for model selection is Bayesian way. And nonparametric Bayes is the only principle way which can dynamically increase model complexity guided by principle model selection.

目前實際的人工智慧，和你在科幻小說中讀到的人工智慧，完全不是一回事。

所以：你說的自我提升，在一定程度上是可能的。比如前段時間熱火朝天的阿爾法狗。

但也只是在程序的設定下，更好的完善數據，更好的展示計算結果而已。

現在的人工智慧，還停留在『聰明的一個程序』的地步，它可以看起來很聰明，但也只是看起來很聰明而已，只是程序設計的結果，會讓你以為它挺聰明的。

或者是能出色的完成某一項工作，就被稱為了人工智慧。

但這真的不是你想的那種智能。

距離一個硅基生命，還早得很。

關鍵是怎樣衡量提升？

一般的人工智慧演算法都有某個衡量指標。

比如在樣本集上測試的正確率，最小二乘法誤差。

機器學習都是在極小化或者極大化這些指標。

那麼，最終的好壞要看一開始設計的指標是否足夠好。

最近關注了圖靈機，它是計算機開始的出發點，圖靈機停機問題解釋了人工智慧無法突破自己，就是程序無法判定某一段程序已經進入死循環還是還在計算中，就是一個遞歸思想。你不能判斷自己是否死去，（就算臨死你也僅僅是知道自己快死了，而不是已經死了，因為死的一瞬間大腦也死了）從個別到全部，可以知道一個事實：人是不能判斷自己是否死了的！人工智慧修改自己代碼之後，如果進入死循環，從邏輯上它同樣無法判定代碼是死循環還是還在計算中，所以無法停止死循環，直至把電耗盡，斷電，電腦死機就是這個原因。同樣，所有人工智慧都不能做到。只有人能認識到自己循環一件事還是正在進行一件事，所以人工智慧無法突破自己，無法超越人類！

應該是不可能的吧，人工智慧首先遵循的是程序，那他就是有局限性的，他只曉得已知的不會探索未知的，如果ai做出了探索未知事物的事情，那一定是有人給他下達了指令，當他做完這個探索指令之後就會停下來，除非這個探索中存在著下一個探索指令，也有可能ai內部的探索指令是個循環指令(比如指令要求探索未發現的元素，那他就會一直探索新的元素)，但他並不知道自己在做什麼，只懂得遵循指令辦事，因為ai無法自主思考，他計算的只能是人類輸入的已有的信息。

現在人工智慧核心還是統計學原理，不知道怎麼自我提升。吃丹藥，聚氣？

對於人工智慧吧，我認為只要程序不出錯，那就是可控的。在發展人工智慧的基礎上，在每一個AI的系統里加入一條或幾條定死的原則（例如求機器人三大法則），以及一個強制關機設置上自毀的裝置，那麼，人工智慧就還算是安全的，即便它們會思考。

現在在號稱最複雜的智力遊戲圍棋上人類已經敗下陣了，未來很可能更多的原來需要人工才能完成的工作都會被機器人取代，人工智慧帶來的自動化科技革命將在很多方面取代人。但未來真的會像《未來簡史》說的：世界將徹底的重新洗牌，人類將分成兩個階層――控制人工智慧的神人和淪為失去利用價值的末人嗎？

這種觀點過於杞人憂天了，事實上代表著人類高級精神價值――真善美的情感，如繪畫，音樂，舞蹈，哲學，倫理等等領域仍然是AI所無法理解也難以擁有的，因此機器人難以擁有人類的情感。

雖然人工智慧難以擁有人類的情感，但也並不是無法擁有，人工智慧在我們眼中一直不是普通的智力工具，所以我們一方面需要它具備超越人類的感知計算能力，另一方面也需要它能夠與人進行情感交流，在重視人工智慧完成任務和功能強化的同時更要建立和滿足人的情感和心理需求，這才是人工智慧的最終定義。也就是說，人工智慧的發展路徑不應該一味沿著理性的路線前行，而是應該落在沈向洋在演講中提到的感性和理性的交叉區域。微軟執行副總裁沈向洋結合小冰等微軟研究院的相關產品和技術描述了情感智能的原理、應用現狀和發展方向，他認為，除了硬性的IQ以外，人工智慧的研究更要強調機器與人之間的感性化交互，強調情感計算。智能化的機器在滿足人類需求的同時，還應讓用戶對其產生一種情感上的信任和依賴，而小冰目前就是這樣一個「感性化的人工智慧助手」。

因此，對於人工智慧，我們應該理性對待，樂觀看待，並認可它，接受它，讓人工智慧使我們的生活，社會，更美好。

謝邀。

我認為AI對於數學模型的掌握可以幫助AI進行分析學習。而目前的困難則是數學模型（怎樣學習）的建立。

但是AI如果習得了不得了的東西並不可控化是誰也不想的。

目前的人工智慧能無法理解「自我提升」的含義，而這基本達到了科幻水平。現有的人工智慧或可能只能根據阿爾法狗的類似方法來進行學習，讓人工智慧了解一個詞語的真正含義目前還沒有先例。

感覺這是一件可能的事，就像電影《機械姬》里的情節一樣

首先我們還不知道人的智能是怎麼產生的，真的只是一堆電信號的自娛自樂嗎。

可以的，當機器人發展到一定階段，這個恐怖的技術就會到來。

說真的，機器只是按照人類設置的已有程序去執行，從理論上來說，機器不存在自行進化，但是，一旦存在這種可自行進化的AI，人類必將滅亡。

機械沒有慾望

我來從一個新的角度來理解這個問題。

人類的每個嬰兒理論上都是早產兒，人類婦女冒著死亡率很高的難產風險而生出頭腦如此之大的嬰兒，並且嬰兒冒著頭骨未癒合，不小心撞一下就會掛的巨大的風險而提前出生。這導致人類在分娩過程中的死亡率高於其他哺乳動物。人類付出這麼大的代價，就是為了更大更複雜的腦子，只有這樣的複雜的物體才能夠完成複雜的智能。因為，如果說，很小的不那麼複雜的大腦就可以解決問題，比如說如果猴子就能夠完成使用工具和理解語言這種很複雜的功能，那麼請相信我，這種早產大頭寶寶的現象是不可能發生的。生命是很吝嗇的。

人的大腦是目前已知的最複雜的物體，已知人類大腦中約有200億神經元，每個神經元有數千個樹突與別的神經元相連，神經元內部還能夠存儲數據，並且神經元還能凋亡和再生。現在沒有任何計算機能夠達到這種複雜程度，基本都是算的快但是查詢的慢。也沒有任何程序可以模擬這種計算，現在很火的機器學習是近似地模擬一小部分神經元的工作原理。

人類的學習過程，表面上看只是一種反饋，可以用數學表達式來模擬，其實它沒有那麼容易的，因為學習新知識並加以利用這種事情，越是高等的生物做的越好，說明它和大腦複雜程度有關。你要做到和人一樣地解決問題，要麼你能設計出好的程序可以模擬出大腦的工作機制，要麼你做出有大腦的複雜程度的計算機，或者說二者都要有。

這是沒有捷徑的，生命總是朝著能解決問題的最優解而演化。強人工智慧不是幾個數學公式和幾千行代碼能解決的。

人工智慧正在朝這個方向前進，例如AlphaGo，Microsoft Xiao-ice等。

第一個問題，可以做到自我提升。

第二個問題，沒有技術問題，只有理念問題，知道創造是怎麼回事的人不多。

自我升級是可以做到的不過我不從事這個具體的我也說不清啊不過我認識中的自我更新就是AI自己做自己的程序員嘛~