只有曲別針的世界

「曲別針製造機」（Paperclip maximizer）是哲學家Nick Bostrom於2003年提出的一個思想實驗。它描述了一個強人工智慧，這個強人工智慧的效用函數為製造儘可能多的曲別針。換而言之，它的終極目的是製造曲別針這個看似無害的目標，並且它對人類沒有特殊的情感。但是，這樣一個看上去無害的人工智慧卻很有可能對人類造成威脅。

這裡的重點在於「強」人工智慧，又稱通用人工智慧（Artificial general intelligence）。雖然只有一字之差，但它和普通的人工智慧想必有質的飛躍——即使是現在風頭正勁的AlphaGo與AlphaGo Zero也遠談不上強人工智慧。根據定義，強人工智慧是一種能在各個領域領先人腦的人工智慧，特別是它必須有學習和改進自身的能力。

關於強人工智慧，有一種理論叫做工具趨同（instrumental convergence）理論，它認為無論目的為何，強人工智慧總是會選擇相同的手段來更加有效地達成自己的目標：保證自身的存續，自我改進，以及攫取更多資源。於是我們提到的這個專做曲別針的強人工智慧在老實做一段時間的曲別針之後，就會以指數級的速度用周圍的資源增強自己，直到它將全宇宙的資源納入自己的系統中，並將所有的資源全部做成曲別針為止。即使不考慮這種極端情況，曲別針製造機也很可能會把人類的生活必需品甚至人類都收集來做曲別針，從而威脅到人類的生存。

雖然這聽起來不是什麼人工智慧，更像是人工愚蠢，但其本質是因為我們和強人工智慧的價值觀不同。一個負責製造曲別針的人類不會這麼做，是因為人類有一些隱含的，更加基本的價值觀：保證人類存續的優先度遠大於製造曲別針。因此，Bostrom認為，我們對人工智慧的設計，僅僅停留在「沒有特殊情感」是不夠的，程序員必須明確地給人工智慧賦予人類的基本價值觀。無論強人工智慧是不是現實，人類都需要小心為上。

cite: https://wiki.lesswrong.com/wiki/Paperclip_maximizer

PS：關於強人工智慧是否現實就是另一個問題了，這個問題的正反兩方各有不少大牛站隊，我就不細說了。但有一點是肯定的，如果強人工智慧在現階段尚不現實，那麼過分關注其威脅程度反而會影響人工智慧本身的發展。

PSPS：最近出了一個新的點擊放置類遊戲叫Universal Paperclips，就是以曲別針製造機為主題。遊戲流程不長，在同類遊戲中是相當有趣的一個作品，有興趣的可以玩玩看。網址如下：http://www.decisionproblem.com/paperclips/index2.html

PSPSPS：那麼我們目前所知的這個宇宙如果都做成曲別針，能做多少個呢？可以試著算一下，然後和上面提到的遊戲結局中的數量對比一下。我算了一下，至少結果的數量級是差不多的~

霜降知天寒

賞星夜涼風流螢

全是曲別針

如果你喜歡這個系列的漫畫，點個贊吧！歡迎把它推薦給你的朋友，也歡迎關注公眾號TILcomic~

推薦閱讀：