對話Bostrom：人類要在超級智能出現之前 將AI完全掌控 | AI英雄

本文系網易智能工作室（公眾號smartman163）出品，此篇為AI英雄第46期。

Gigaom | 選自

網易見外翻譯機器人｜翻譯

抹茶｜審校

人物觀點：

我認為向機器智能時代過渡可能是人類歷史上具有里程碑式的事件之一，但從時間尺度來看，人工智慧的發展更加的多樣化，更具有不確定性。

我們對超級智能的擔憂在各行各業都會存在，都會面臨挑戰，人們首先應該考慮未來「超級智能」是否會有自己的意識和想法，並朝著不利於人類的方向發展，我們需要做的是在機器變得更智能的時候，讓它們完全聽命於人類，不違背人類的意志，以保證人類可以完全控制它們。

本期對話嘉賓為為尼克·博斯特羅姆（Nick Bostrom），他是牛津大學哲學系的教授，人類未來研究院的創始人和主任，Bostrom的學術背景包括物理、計算機科學、數理邏輯，以及哲學。他著有大約200種出版物，包括《人擇偏差》、《全球災難危機》，《人類提升》以及《超級智能：途徑、危險與戰略》。

他最著名的研究領域包括：1. 生存危機；2. 模擬論點；3. 人擇理論；4. 未來科技的影響；5. 結果主義對全球戰略的意義，他還是Eugene R. Gannon獎的獲得者，曾被《Prospect》雜誌列入全球思想家名單。

博斯特羅姆這樣評價自己：「我是一個非常幸運的人，沒有教課的任務，有助理團隊和頂尖的研究人員給我提供支持，我可以研究的領域實際上沒有任何限制，我必須非常努力，才能對得起這樣的特權」。

1.世界上會出現通用AI，但還要攻克一些難題

【問】您是如何看待未來人工智慧方面的發展的？

【尼克·博斯特羅姆】我認為，向機器智能時代的過渡可能是人類歷史上具有里程碑式的事件之一。但是從時間尺度上來看，人工智慧的發展更加的多樣化，更具有不確定性。

最終，我認為我們將擁有真正、完整的人工智慧，且在不久之後可能會成為「超級智能」（即通用人工智慧）。我認為，這種向機器超級智能時代的過渡，可以體現在各個領域，且每個領域都有造福人類的巨大潛力。健康、娛樂、經濟、太空殖民等等，應有盡有。但同時也可能存在一些風險，包括與創新有關的人類生存危機，隨著人工智慧不斷地融入人類的生活，未來它們很有可能會超越人類甚至取代人類。

我的意思是，當你看到兩個事實時，這是一個相當大膽的論斷。首先是技術的現狀。不可否認，如今我們的手機正在變得越來越智能。其次，目前我們所知道的人工智慧只是人類智能。這是一種與人類意識形成、人類大腦運行模式、思維方式以及所有這些人類活動一樣的方式，並不是我們所理解的是一種輕描淡寫的練習。那麼，你如何對待這兩件事——在這方面沒有先例，之前也沒有真正了解人類的智能、人類的大腦是如何運作的——然後你得出這樣的結論：這幾乎是不可避免的？

當然，目前的技術還遠不能達到人類智能的水平，更不用說超級智能了。短時間內，我們還是很難實現真正的人工智慧的。但最終，隨著技術的發展，最終會實現真正的人工智慧。從人類大腦的運行模式中我們可以得知，這個世界上存在著至少和人類智力水平相仿的運行系統，而且它是一個有限的生物系統。人類頭顱內的重約三磅的軟物質竟可以達到這種水平的性能，而且這還遠遠沒有達到人類大腦的極限。我們可以看到幾種不同的方法，在技術上最終達到我們可以在機器基質中製造和人類大腦類似的物質的方法，進而模擬大腦的運作方式，達到真正的人工智慧。

因此，人們確實需要逆向研究的方式來解鎖人類大腦的奧秘，搞清楚大腦運行的體系結構、學習時的演算法邏輯，進而將其置於計算機基礎上運行操作。但很有可能的是，我們將採用一種純粹的合成方法來加快研究的進程。

在這條道路上似乎沒有什麼原則上無法攻克的難題和障礙。但是這仍然非常難，畢竟我們直到上世紀中葉才開始有了計算機，計算機的出現也不過幾十年的時間。人工智慧領域也是個很年輕的領域。在這幾十年里，我們已經走過了相當長的一段路，如果我們繼續這樣下去，我想我們最終會找到如何設計出具有同樣強大的學習能力和規劃能力的演算法，進而讓人類變得更聰明。

【問】：在人類已經接受了這個假設的基礎上，你認為人類的意識是從哪裡來的？

【博斯特羅姆】：大腦。

2. 研究人工智慧，或許人類大腦能給我們啟發

【問】：但具體來說，是什麼機制引發了這種變化？對於這個問題，還有什麼其他潛在的答案嗎？

【博斯特羅姆】：我傾向於計算主義觀點，我的猜想是，這是一種特定類型的計算的運行，它會在道德相關的主觀體驗中產生意識，在原則上，你可以在由硅原子構成的結構上實現意識，就像碳原子結構一樣。在這裡，重要的不是大腦的構成物質，而是大腦運轉的計算結構。

原則上，你可以讓機器擁有意識。不過，我的確認為，人工智慧的問題，即機器的智能表現，最好還是不要過早的涉及意識的問題。即使你認為機器不能真的擁有意識，你仍然可以關心它們是否和人類一樣聰明。即使他們沒有意識只是聰明，這仍然可能是一項對世界產生巨大影響的技術。

【問】：關於這方面的最後一個問題，我想深入了解一下你是如何看待所有這些發展和實驗的？想必您肯定很熟悉約翰·希爾勒（John Searle）的中國房間思想試驗，中文房間（Chinese room，the Chinese room argument）又稱作華語房間，是由美國哲學家約翰·希爾勒（John Searle）在1980年設計的一個思維試驗以推翻強人工智慧（機能主義）提出的過強主張：只要計算機擁有了適當的程序，理論上就可以說計算機擁有它的認知狀態以及可以像人一樣地進行理解活動。

這個實驗要求你想像一位只說英語的人身處一個房間之中，這間房間除了門上有一個小窗口以外，全部都是封閉的。他隨身帶著一本寫有中文翻譯程序的書。房間里還有足夠的稿紙、鉛筆和櫥櫃。寫著中文的紙片通過小窗口被送入房間中。根據Searle，房間中的人可以使用他的書來翻譯這些文字並用中文回復。雖然他完全不會中文，Searle認為通過這個過程，房間里的人可以讓任何房間外的人以為他會說流利的中文。這個人顯然並不懂得任何中文，但是根據那本書還有紙條，他竟然成功用中文回答了問題，而且翻譯出來的東西在中國人眼裡，是非常地道的和精彩的。

所以問題是，這個試驗結果是，那個房間、那個系統，非常出色地通過了圖靈測試。並且這個系統在沒有理解所談論的東西的情況下就成功了。對於這種機器即使缺乏理解，甚至是無法理解的情況下，並不會像人類想像的那樣具有局限性，相反，這些演算法和系統可以做的非常出色，即使並不能像人類一樣思考和理解事情。當然，這個試驗適用於計算機。希爾勒用這個實驗得出結論，計算機永遠不會像人類一樣，因為它什麼都不懂。您怎麼看待這個問題？

【博斯特羅姆】：說實話，我不太相信這個實驗，首先你需要考慮，這個思想試驗不僅僅是關於這個房間里的人能做什麼、不能做什麼，能理解什麼、不能理解什麼。你必須要把整個系統想成一個整體。因此，房間、房間里所有的書還有人，應該作為一個整體，能夠以一種看起來聰明的方式實現輸入與輸出。如果有什麼東西具有理解能力的話，那大概就是這個系統。就像你說的計算機程序，它會是個整體，包括電腦，程序以及存儲記憶，最終會達到一定的性能水平，而不是其中某個設備里的一個特定數據箱。

對於中文房間這個實驗，人們傳統的想法是，那個實驗者會記住每一本書的內容。他出去轉轉，有人遞給他一張便條，他寫了一個絕妙的答案，然後把它遞迴來。再一次需要強調的是，他並不理解問題是什麼。但你不能回頭說，「這是系統。」

因此，你必須考慮，實際上，你想要獲取的功能是將所有可能的英語輸入都映射到中文輸出。要知道，就數據條目數量而言，僅僅通過一個龐大的檢索表來進行映射是不可行的。這肯定不適合人類的大腦。或者，實際上，在任何物理限制條件下，在可觀測宇宙中，沒有足夠的原子以這種方式來實現它。

因此，很有可能的是，理解不僅包括將一組輸入信息映射到輸出的能力，還包括以特定的方式進行數據壓縮。因此，要理解某件事可能需要知道其相關的模式是什麼，在一個特定的領域中（某個領域的某種精神模型），從而實現這個輸入/輸出映射的緊湊化。這可以讓你概括那些在初始集中沒有明確列出的東西。

所以，如果我們試圖通過一個檢索表來支撐這個中文房間思想實驗的論點，一方面，在沒有足夠的記憶內存的情況下，那是不可能實現的。另一方面，即使你以某種神奇的方式擁有足夠的記憶內存，但它仍然不能算作真正的理解，因為它缺少這種數據的壓縮，也沒有規律的提取。

3. 人類要在超級智能出現之前將AI完全掌控

【問】：對於超級智能，人們普遍存在三個擔憂：第一，擔心它被人類故意濫用；第二，擔心它被人類不小心誤用；第三，擔心它有一天有了自己的意識和想法，並且朝著不利於人類的方向發展。對於對人工智慧或者超級智能，您是否也有類似的擔憂？或者您有什麼特別的擔憂嗎？或者您是如何擺脫這種擔憂的？

【博斯特羅姆】：是的，我認為超級智能的擔憂在各行各業都會存在，也都會面臨相應的挑戰。我認為人們首先應該考慮第三個問題，即未來「超級智能」是否會有了自己的意識和想法，並朝著不利於人類的方向發展。我們需要做的是，在我們讓機器變得更智能的時候，也要讓它們完全聽命於人類，不違背人類的意志，以保證人類可以完全控制它們。

所以現在你需要制定一個目標功能。在絕大多數情況下，這很容易。例如，如果你想訓練一些智能體（agent)下象棋，你就需要定義怎樣才是一步好棋。如果贏了一場比賽，會得到1分，如果輸了，不得分，如果是平手，得到0.5分。所以這是我們可以定義的目標功能。但在現實世界中，人類需要考慮方方面面的事情，我們會關心是否幸福、公正、美麗和快樂。而這些東西都不太容易去設定評判標準和目標，很難用計算機語言去定義。因此，你需要找到一種方法，讓潛在的超級智能的智能體服務於人類意志的延伸，這樣他們就能意識到你的意圖，然後忠實地執行命令。

這是一項重大的技術研究挑戰，目前也有科研團隊正在致力於解決這個問題。假設我們可以解決這個關於控制的技術難題，我們就能更廣泛的應用人工智慧在我們的生活中。屆時我們將有能力應對更廣泛的「規定」（policy)問題。例如，究竟是誰來決定人工智慧的用途，它的社會用途是什麼，未來「超級智能」出現之後，我們的世界又該是什麼樣子等等。

目前，只有同時解決技術問題和關於人工智慧的更廣泛的「規定」問題，才能真正得到一個好的結果。這兩個問題同等重要，且都具有挑戰性。就像你將規定分為兩個子問題一樣，這樣子就可以解決你剛才提的第一個和第二個問題了，如何去區分故意濫用和意外誤用。但我相信，所有的人都不希望你剛才提到的事情將來有一天會發生。

【問】：任何對人類生存的威脅都會引起我們的注意。你是否認為這種威脅看起來微不足道，但一旦發生後果不堪設想，所以我們需要認真對待這個問題？還是你認為這些事情未來很有可能會發生？

【博斯特羅姆】：一半一半吧。我認為，我們有足夠的時間和機會去發展超級智能，但同時，也許是在今天活著的人的有生之年，超級智能也有可能會出問題。並且，這種情況發生的可能性非常大，因此，為相關的研究項目和研究人員投資是一項非常明智的選擇，只有這樣才能讓研究人員致力於尋找解決問題的方法，將我們對超級智能的擔憂與害怕控制在我們的掌控之中，這是我們當下亟待解決的問題，因為有些問題和隱患的苗頭已經開始逐漸顯現了。而且，我們還需要提前考慮規則制定的問題。例如，究竟什麼樣的全球治理體系能夠真正應對一個存在超智能實體的世界？

要認識到這是一個巨大的挑戰，我認為當你在談論一般的超級智能時，你不僅僅是在談論人工智慧的進步，你是在談論所有技術領域的進步。在那個時候，當人工智慧在科學和創新方面比我們人類能做的更好的時候，你就相當於擁有了一個可觀測未來的望遠鏡，你可以想像到所有其他可能的技術，如何幫助人類在時間的長流里更好更充實的發展。如果我們有4萬年的時間來研究它，也許屆時我們就能找到抵抗衰老的方法獲得長生不老之術，或者征服銀河系並將其上傳到電腦上等等，所有這些目前只有科幻小說中才出現的場景，我們都知道是符合一定的自然和物理規律的，因此未來是有可能實現的，只是需要時間。而人工智慧的出現，未來有望幫助我們實現。所有這些都可能是在超級智能出現之後，在數字時間範圍內很快開發出來的。

所以，在這種轉變下，很有可能在短期內，隨著人工智慧技術的逐漸成熟，科幻小說中的場景真的會在我們的現實生活中出現。我認為，要規定和選擇一種適用於超級智能存在的世界的治理體系，需要進行一些根本性的反思。這也是一項很有意義的工作。

並且，我認為我們應該提前開始這項工作的理由，並不完全取決於你認為在一定的時間內發生這種情況的可能性有多大。如果我們不制定相關的保險措施的話，目前看來，人工智慧未來威脅人類生存的可能性還是很大的。

【問】：你認為我們面臨著重新思考社會基本結構的挑戰嗎？人類歷史上曾經出現過類似的先例嗎？

【博斯特羅姆】：世間萬物沒有什麼是非常相似的。每件事、每個技術的出現都具有其獨特性，並不能一概而論。但是我們確實可以從中尋找出一些相仿的規律。在某些方面，如今人工智慧的出現和當年的核武器的發明有些相似之處。當年，包括一些正在研究核武器的核物理學家都認為那將真正改變國際事務的性質。同時，人們預見了隨後出現的軍備競賽，也有人試圖提前思考，如何才能防止核擴散等等。

除此之外，我不認為人類歷史上類似的需要提前考慮和採取預防措施來避免未來問題發生的事件。就像大多數時候，我們在探索發現的路上跌跌撞撞地走著，嘗試著不同的東西，然後逐漸地學習。我們明明知道汽車會發生車禍，造成人員傷亡，但是我們並沒有因此而不使用汽車，相反，我們發明了安全帶和道路指示燈。我們在前進的過程中也會與時俱進。但問題和風險在於，你有且只有一次機會，所以你必須在第一時間把它做好。這可能需要提前意識到問題所在並迅速找到避免出現這種情況的解決方案。但這正是我們人類所不擅長的事情，因此，我們需要付出更多的努力。

4. 是什麼決定著通用人工智慧的出現？

【問】：在我們探索發明超級智能之前，您是否認為我們正在朝著進化的方向前進？是否就像，我們對AI有所了解，我們有基本的技術和知識。但我們需要做的是發明更高效的機器，更好的演算法，更多的數據，以及所有這些東西，但所有這一切最終會給我們一個「超級智能（即通用人工智慧）」。或者您認為它還需要一些我們現在還不理解的東西，比如量子計算機等等。我們是在往這個方向發展嗎？

【博斯特羅姆】：我不認為通用人工智慧的出現需要一台量子計算機。也許這是有幫助的，但我不認為這是必要的。我的意思是，如果你說更快的計算，更多的數據，更好的演算法，我認為結合起來就足夠了。我想我們應該更多的將重點放在，未來演算法究竟需要發展到多好

因此，近年來在包括深度學習和強化學習等機器學習方面取得的進步，都讓人興奮不已。我認為，目前還沒有定論表明，我們是否需要擁有大量的新技術和知識，也許我們只是需要一些巧妙的方法，把我們已有的知識和技術串聯起來，在它們的基礎上構建新的東西，或者是實現更深層次的概念突破。這些都是難以預料的。

當然，還得在大量演算法改進的基礎上，才能實現這一目標。但是，進一步的改進可能更多的是使用我們現有的一些基本的知識和技術，以巧妙的方式將它們組合在一起。在深入學習結構的基礎上，更好地學習和提取概念，並將它們結合到推理中，然後用它來學習語言。如何更好地進行分層規劃。但它仍將使用我們已經擁有的一些技術和知識，而不是那種完全拋棄過去的技術，以一種全新的方式開始的發明。我認為至少有一些證據表明，我們仍然在正確的軌道上前行，我們也能看到現有的一些進步。

【問】：據我所知，當我試著從不同的行業領域（包括編寫演算法或者計算機編程等相關行業）里採訪人們對於未來何時會實現真正的人工智慧的時候，大家給出的答案不一而同。我認為這是一個很有說服力的事實。但毋庸置疑的是，現如今行業里有人並不認為這是一種對思想資源和周期有用的方式。從廣義上來說，你認為是在什麼情況下那些人會忽視這一切，而他們又會在哪裡犯錯誤呢？他們錯過了什麼？

【博斯特羅姆】：他們可能會因為對自己的印象過於自信而犯錯。所以，這取決於他們相信的到底是什麼。如果他們相信，在接下來的幾百年里，我們基本上沒有機會實現這個願望，那麼我認為他們就是過於自信了。人工智慧的發展並不是那種可以在短時間內預測到未來100年里將要發生什麼的事情，至少目前是做不到的。因此，堅信可能或者不可能發生，都是一種過度自信的表現。從而引發業內專家們意見相左。

幾年前，我們對世界領先的機器學習專家進行了一些民意調查。其中一個問題是，您認為需要多久，我們才能有50%的可能性擁有高水平或與人類水平相近的機器智能，也就是說可以實現真正的人工智慧？我們得到的平均答案是2040或2050年，當然這也取決於我們問的是哪組專家。然而，這些都是主觀的想法。

目前尚沒有一種嚴格的數據集可以證明這是正確的估計。但我認為，這確實表明在本世紀，準確的說是在本世紀中葉，很可能會實現真正的人工智慧。但究竟是真是假，還有待時間的考證。而這是主要研究人員的大致觀點。這裡面還存在著很大的不確定性。也許可能需要更長的時間來實現真正的人工智慧。但也可能會提前發生。我們可以藉助概率分布來考慮，在各種可能的到達時間範圍內的可能性分布。

【問】：在實現真正的人工智慧之前，您對人工智慧的頭號擔憂是什麼？它對就業的影響又會是什麼？

【博斯特羅姆】：目前來看，我所擔心的是未來人類的工作問題。實現了通用人工智慧，也就意味著，屆時機器可以完全取代人類，做人類可以做的任何事情。

一方面這幫助人類減輕了工作的負擔，但是同時也帶來了兩個非常嚴峻的挑戰。其中之一是經濟方面的挑戰，即人們如何謀生。現在很多人都依賴於工資收入生活，因此，未來工作被機器取代之後，他們需要一些其他的收入來源，要麼來自資本分配，要麼來自社會再分配。幸運的是，我認為在這種情況下，人工智慧真正實現了智能化，它將創造出巨大的經濟繁榮。因此，這塊經濟市場蛋糕的整體規模將會大幅增長。因此，考慮到政治意願，以確保每個人都能擁有高水平的生活質量，通過普遍的基本收入或其他方式的再分配，也應該是相對可行的。

現在，這就引出了第二個問題，也就是人類活著的意義所在。目前，很多人認為，他們的自我價值和尊嚴，與他們作為經濟上富有生產力的公民的身份密不可分。很多人認為成為家庭的經濟支柱是一件很幸福的事。但這種觀念亟待改變。教育體系必須改變，訓練人們在休閑中尋找生活的意義，培養愛好和興趣。欣賞對話的藝術，培養對音樂的興趣，建立個人的愛好等等方方面面的事情。為自己而活，因為每個人都是有價值的，都是獨一無二的，而非為了生存賺錢養家而活。

我認為這是絕對有可能的。有一些群體從歷史上就一直生活在這種情況下。例如，英國的貴族們認為，為生計而工作是有失身份的，他們認為這就像是在出賣自己，就像你不得不出賣自己的勞動一樣，因此他們相信地位高的人是不需要工作的。

今天，我們處於一種奇怪的情況，地位越高的人工作得越好。例如企業家和CEO們每周需要工作八十小時。但這種情況可能會改變，但根本上，是需要文化的轉變。

【問】：最後，你的新書《超級智能》可以說是有史以來最具影響力的書籍之一。書中你為人類敲醒了警鐘，提醒人們要認真考慮未來人工智慧真正實現的問題，並建議我們應及時採取積極預防措施。您是否可以帶我們來暢想一下未來的生活。

【博斯特羅姆】：這本書出版以來，在過去的幾年裡，在圍繞人工智慧主題的全球性的討論中，以及在技術研究等方面都出現了很大的轉變，現在人們開始專註於尋找對人工智慧更好地控制的方式，而這對於當下先進的AI技術至關重要。目前已經有很多研究小組提出了這個問題。我們也在致力於解決這些問題。在伯克利，研究團隊們正在與DeepMind共同舉行定期的研究研討會。這都是振奮人心的好消息，因為看到相關的努力在付出。

當然，我們希望這個問題不會太棘手。在這種情況下，我認為這種人工智慧的轉變確實是開啟了一個全新的層次。它可以讓人類文明從目前的人類狀態過渡到另一種完全不同的狀態。隨著技術的不斷成熟，也許是我們的後代能夠征服宇宙，構建和創造幸福狀態下的超人類智慧的文明，而未來，探索經驗的空間、存在的模式和相互作用，以及創造性活動，這些活動可能超出了目前人類大腦的想像能力。

我只是覺得，在這個廣闊的可能性空間里，存在著一些非常有價值的模式。就像一個巨大的體育場或大教堂，我們就像一個蜷縮在角落裡的小孩，這就是我們目前所處的環境下，一個生物人類有機體所能接觸到的各種可能性模式的空間。它目前只是存在的所有可能性中很小很小的一部分，但一旦我們找到了創造這些人工智慧和人工智慧的方法，我們就可以開始解鎖新世界了。

因此，擁有足夠的智慧和些許的運氣，我認為未來將是美好的，準確的說，未來將存在無限可能。（完）

添加網易智能公眾號（smartman163），點擊查看《AI英雄》專題，往期內容一步直擊！

註：《AI英雄》專訪隸屬網易智能工作室，每周圍繞人工智慧領域講述人物故事。如需轉載本文需經網易智能同意，違者必究！

推薦閱讀：