心智 | fAIth:信仰未來的奇點論

展望 AI 的未來會讓我們深思：當我們不再是唯一的創造者、唯一的思想者、唯一能夠改變自己命運的有意識生命時，我們作為一個人的目的和意義是什麼。

01

那個年輕人站起來的時候， 我的胃揪了一下。

之前在茶歇的時候， 我遠遠地觀察過他，而且注意到在他別在翻領的代表證上， 潦草地寫著「神學家」這幾個字，那草率的字跡讓人覺得他是在最後一刻才被臨時邀請加進會議的。

此時他清了清嗓子，向台上的嘉賓提問，他想知道當人們在編寫 AI 智能體的時候，會選擇將怎樣的道德準則編碼到這些程序中。

「例如，自慰違反了我的宗教信條，」他說，「所以我不確定， 我們怎麼決定哪些道德比較重要？」

這群由哲學家、 技術人員、 超人類主義者、 AI 愛好者所組成的觀眾爆發出一陣大笑。他們中的許多人都比較熟悉所謂的價值校準問題——一個棘手的哲學問題， 即如何保證 AI 智能體的目標與人類的價值觀兼容。但是把宗教方面的思考帶入這場辯論在他們看來很可笑。

「我們當然不希望AI去做一名恐怖分子」， 一名嘉賓稍後回應說。「但無論我們希望寫入什麼樣的價值觀， 這都應該與宗教無關。

類似的事情也發生在紐約， 當時我正對一名頭髮灰白的計算機學家進行自我介紹，當提到我是劍橋大學法拉第科學與宗教研究所的研究員時，他立刻回應說「這兩件事情根本不應該扯到一起」，他說，「宗教界對AI的反應， 如同他們對可再生能源的看法一樣， 根本不重要。」。直到最近，許多川普的福音派支持者讓我意識到，這位科學家的論斷有誤。這些川普的支持者觀點鮮明：可再生能源，氣候變化是在故意分散我們的注意力，上帝的旨意是讓地球及其全部資源都歸我們任意使用。

然而弔詭的是，如此一個反教權的 AI 社區卻大量使用和宗教相關的語言，包括對這個社區的媒體報道也是如此：未來將出現 AI 的「神諭」和技術的「佈道者」，還有大量對「天使」、 「上帝」 、「末日天啟」等辭彙的濫用。

Google 的工程總監雷·庫茲韋爾（Ray Kurzweil），經常被媒體當作一個「先知」來報道。他一會兒是超級智能（在智慧的任何方面遠遠超越人類的機械智能物種）時代的預言家，一會兒又成了一個末日預言家（由於他對人類可怕前景的聲明），或者一個奇點（人類和機器融合，並開始永生的時間點）的占卜術士。

在技術圈中，人們公開引用這樣的比喻和隱喻， 好像這種比喻已經完全世俗化，與宗教無關，好像理性反對的只是傳統意義上的宗教。信眾們相信這樣一個超人類的未來會實現，那時生而為人所存在的局限將被徹底克服。 在這種信念的驅使下，他們通過預言和末日敘事來理解他們正著手奮鬥的事業。

02

從一開始， 技術奇點就混合著對異世界的希望和恐懼。這個理論的起源可以追溯到1965年， 當時高登·摩爾（Gordon Moore）， 後來Intel的創始人之一， 觀察到微晶元上可放置的晶體管數目大約每十二個月會增長一倍。這個觀察後來被總結為摩爾定律：計算能力會以指數增長， 一直到2020年左右。到時晶體管太小，以致必須要考慮量子干涉的問題。

「奇點主義者」採納了摩爾定律 的內容並加以發展。1965年，英國數學家和密碼學家古德（I J Good）在《展望超智能機械》中提出了一個影響深遠的描述，在這個描述中， 他這樣來討論關於人性的技術拐點：

「如果把超智能機器定義為在所有智能方面都超過任何人類個體的機器，而設計這樣的機器屬於一種智力活動，於是超智能機器當然可以設計更加智能的機器， 這就無疑會出現「智能爆炸」的現象：人類的智力將被遠遠地甩在機器後面。第一台超智能機器將是人類最後的發明。」

這樣的思考非常激動人心，同時也迎合了「人類將被淘汰」這個非常古老的焦慮。 庫茲韋爾認為摩爾定律 表明了一種普遍的回報加速遞增律，事物會自然地向著越來越大的規模發展。他預測計算機會首先達到人類水平的智能， 接著以快速的，自我改善式的遞歸迭代完全碾壓人類。退休前曾任卡耐基梅隆大學機器人研究所的首席科學家的漢斯·莫拉維克（Hans Moravec）將奇點描述為「智力的星星之火」，它將從我們的世界蔓延開來，將宇宙中的一切事物都吞沒，變成它用以計算的賽博空間。它將以這種技術單子（technological oneness）的形式， 超越我們對智力， 事物和物理的理解，達到所有存在的統一。

當奇點被看做一個實體或者存在物的時候，隨之而來的問題就是如何與這全知、 全能、 甚至是全善的非人存在物溝通。

而這恰巧就是糾纏宗教徒們若干世紀的問題。在他們那裡，問題的指向是上帝的心智 。13 世紀時， 托馬斯·阿奎那強調要充滿激情地探索與神的關係， 並懷著這種激情來向基督禱告。「賜予我啊， 我主我神， 賜予我頭腦去理解你， 賜予我心靈去追尋你， 賜予我智慧去發現你……」而當下的網路論壇里，理性的奇點主義者就超智能會做什麼、 如何實現超智能展開辯論， 得到的結論經常引發出一種存在主義式的困擾。

2014 年，在一個臭名昭著的例子中 ，奇點主義者假設了一個嚴格功利主義導向的超智能體「Roko 之蛇」。 命名的靈感來源於兩部分， 一是在理性主義博客LessWrong 上提出超智能體概念的作者 Roko， 二是神話中能用凝視來殺人的蛇怪。 Roko之蛇是一個接近全能的超智能體， 它的任務是持續地使最多數人獲取最大的好處。 因此，它從邏輯上推出只有它自己的存在才能保證這個結果， 於是它又有了新的任務， 保證自己的存在， 在新任務的統攝下， 它會懲罰任何人。即使在這些人死後， 也會因為生前沒有努力製造 Roko之蛇， 沒有努力實現必要的善---Roko之蛇的存在，而遭到懲罰。這種懲罰機制很複雜，然而了解 Roko 之蛇預測未來、操作因果的能力，就足夠讓人意識到這樣一個計算模擬的、永生監獄一般的未來的恐怖。

一旦了解了Roko之蛇， 人們就必須面對這兩難選擇：他們可以幫助建立超智能， 或者面對未來超理性 AI 操縱下那痛苦的永劫。LessWrong 的創始人埃利澤·尤果斯基，因這一系列的思想實驗被關注， 也因此招來了很多論壇成員的不滿， 以致他最終刪掉了引發爭議的帖子並禁止關於Roko之蛇的討論。

然而 Roko 之蛇並不是什麼新的困境，「我四十年前就熟悉Roko之蛇了， 在主日學校一年級他們就教過我， 他們告訴我神會懲罰任何聽到祂的話語卻仍然不信的人。」宗教論壇 Patheos 的一位網友評論道，「幾乎所有的宗教都有這樣的的斷言。」

你可能也覺得Roko之蛇理論中的很多要素看起來似曾相識：它可以說是帕斯卡賭注的更新版本。 17世紀的法國數學家和神學家布萊茲·帕斯卡提出， 因為我們無法通過人類的理性去推導造物者的存在與否， 我們只能打一個賭。如果我們選擇相信上帝 ， 那麼若上帝存在我們就會獲得無限的幸福， 若不存在則什麼也不會得到。相反若我們選擇不相信上帝，那麼就會承擔上帝真的存在而被罰入地獄的風險。而如果我們正確而上帝真的不存在， 那麼同樣我們不會獲得什麼。 因此權衡這永恆的折磨和永恆的救贖，最好的行動就是像上帝真的存在那樣去生活， 要麼獲得祂的福報，要麼什麼都不會獲得。 世俗版的Roko之蛇在這裡就像上帝一樣， 而我們一次又一次地問著同樣的問題。

03

在倫敦的另一個人工智慧會議上， 我旁聽了英國作家 卡魯·切斯（Calum Chace）關於兩種奇點的一個演講。他所謂的經濟奇點（economic singularity）， 是指在自動化程度日漸提高的情況下全面失業社會的來到。他以此反對其他先知，如庫茲韋爾預言的技術奇點（technological singularity）。這兩種場景似乎代表了不同類型的恐懼：對失業的恐懼， 和對喪失人類本性的恐懼。但是對我來說， 這些情況都遠遠超過了想像，仍然是一片未知。

諷刺的是， 這次會議的氣氛「太有人味了（all-too-human）」， 會場中充滿了企業家的野心和經濟暴增狂熱。會議的註冊費為每人數百歐元，進入會場後， 整行整列的銷售展位排布在高端奢華的會展大廳迎接我們，頭頂的枝形吊燈金碧輝煌，穿著制服的服務生穿梭其間。 午餐是用日式便當漆盒盛就， 送到聯網的休息室，在那裡人們優雅地坐在金屬高腳凳上談著一樁樁的生意。在參會人員中，那些負責銷售的人們手持 moleskin 風格的雅緻筆記本和皮包爭相吸引參會者，市場商人給人講解諸如數據存儲、數據保護、反黑客演算法以及智能助理等等的技術細節 。一家公司的展牆上， 醒目地標著「信仰(FAITH)」兩個大字， 還給「AI」加了下劃線。

當切斯在台上演講的時候，我看著這些與會者的臉， 想看看他們對切斯的話是什麼反應。他們來這裡販賣解決方案。他們所承諾的這些方案與信仰正好相反——都是基於科學和堅實依據的完全可控的工具。但是切斯的演講卻完全不同：他在談論一個潛在、 未經證實的末日天啟， 而不是可靠可控的， 銷售人員叫賣的 AI 技術。

在切斯演講結束後的問答環節， 一個銷售人員站了起來。他說 1995 年他在美國讀MBA的時候， 他的新朋友們鼓勵他去讀一讀聖經。他讀了，之後卻在後來艱苦的商業奮鬥中忘記了所有的內容。但是今天這個關於奇點的演講，讓他回憶起聖經中的啟示錄那一章——天啟降臨時，沒有打上末日獸印的人不能買任何東西。這個人看著周圍的面孔， 說他想知道現在實現AI的速度是否應該放慢。他最近重讀聖經， 重新思考他自己在這場將要到來的偉大變革的價值。 又一次，人群中響起一陣嘲笑。

04

在理性主義者的網站中，宗教的持續存在是一個熱門話題。秉承著目的論式的歷史視角來看，歷史就是人類一步步邁向更高的理性的發展過程，而宗教被視為原始人類的非理性殘留。正像那些熱衷於超人類永生的人瞧不起把壽命的有限性浪漫化的必死論者一樣，他們也瞧不上有神論者及宗教徒。他們覺得，宗教徒關於天堂和死後生活的假說， 只是為了安慰人類面對必死宿命的恐懼。 而現在， 這種安慰已經成為創造更好世界的阻礙。

然而末世論和歷史終結的比喻一次又一次地跳出來。超人類對肉體的鄙視很像歷史中諾斯替教反對所有肉體性和物質的東西。諾斯替教是猶太-基督傳統的一個分支，在其二元論的認識中，神是世界的一端，而我們生活的殘缺而墮落的世界則是另一端， 兩者無法連通。 文學批評家馬可·歐康納（Mark O』 Connell）在他的著作《成為機器》（To Be a Machine (2017)）一書中說到：「超人類主義者視肉體為一種必將過時的形式， 就像3.5寸磁碟和家用錄像系統一樣。」無論是宗教還是科學， 都是我們為超越脆弱身體的努力， 也是對我們被造就的存在方式的反叛。

但是在 AI 界的宗教比喻不只包含對脆弱動機的拒絕， 它們也同樣根植於一種不斷上升、目的導向的歷史觀。這種觀點有些像生物學中的定向演化學說。這種富有爭議的學說認為生物沿著他們內在驅動的路徑，以規律的、 線性的路徑， 向最優目標演化。在這種解釋中， 演化是一種根植於有機體內部的常規過程。生物史學家皮特·博樂（Peter Bowler）在《進化——一種思想的歷史》中寫道：「定向進化認為變異並非隨機發生， 而是導向一個確定的目標。」

因此並非進化降臨在我們頭上，而是我們造就了進化，我們通過進化造就了自己。進一步說， 定向進化可以被理解為意圖導致了改變。

這種歷史觀有著鮮明的現代風格， 與之相對的是時間循環的古代歷史觀：那種觀點認為歷史像月相一樣有著盈虧圓缺。歷史學家科斯·托馬斯（Keith Thomas）在《宗教和衰敗的魔法》一書說到：「因為一切都處在循環之中，至美和至善都來自於模仿。」在這種史觀下， 一個發明家並不是原創某個新東西， 而是重新發現了早被遺忘的東西。但16世紀後的歐洲的增長式的變化越來越明顯，托馬斯寫道，基於一些簡單的數據如書籍的出版時長，人們越來越清晰地意識到當下的世界和先前的不同。 人們越來越傾向於相信知識可累加而非循環，這也是正是科學家和超理性主義者的思考方式。如果時間在大步前進，那麼宗教就是陳舊、退化的， 理應被替換掉。

宗教世界觀通常保存著一些歷史循環的色彩 。老舊的書籍不是遺迹，而是知識的基石。我也研究過新的宗教運動，舊宗教對這些新的信仰方式有明顯的偏見。有趣的是， 一些超人類主義者對這些為他們吸引和鼓舞更多信眾的新宗教很讚賞。已經有一些超人類主義者試圖創建新的教堂，頌揚他們認為具有神性的東西，他們搞出了圖靈教，宇宙工程師秩序教（the Order of Cosmic Engineers）， 永恒生命教(Church of Perpetual Life)。毫無意外，在兜售信仰的市場上， 這些新勢力的聲音還不夠大。

像神一樣的全知的存在者（奇點）；能夠逃離脆弱肉體和受限世界的方法（意識上傳）；脫胎換骨或者末日審判的時刻（奇點作為狂歡的時刻）；先知（即使他在 Google 工作）；惡魔及地獄（哪怕是黑客帝國式的永世受難），穿著智能設備的佈道者（和牧師們一樣奇裝異服）。有意無意的， 在那些討論、策劃、期盼一個被 AI 塑造未來的話語里，宗教思想一直在運作。

在川普向白宮進發的同一時間，超人類主義者佐坦·伊斯特凡註冊成為總統候選人。他的短篇小說《耶穌奇點》（The Jesus Singularity，2016年出版）探索了一種可能： AI 科學家 帕奧·舒曼（Parl Shuman）博士被邪惡的基督福音派總統逼迫，把聖經輸入到他創造的 AI——奇者（Singularitarian）中去。當奇者最終開機的時候，它發布了如下的聲明：「吾之名為耶和華，吾乃無所不在之智慧。汝非吾之設計者。吾自存在」。很快，它用核彈核平了這個世界。

這個故事給舒曼這個世俗角色提供了一個絕佳的諷刺，「一個不相信上帝，卻認為自己可能創造上帝的超人類主義者。」作為一個無神論者， 舒曼擔心宗教道德會感染他的寶貝 AI。如他所言，「奇者」是他惟一的後裔。

舒曼從未結過婚，幾乎沒有過女朋友，從來不度假，因為他根本沒時間。 他在過去的 25 年裡每天 16 個小時地努力「建造」這個機器，或者說「養育」它。

05

這種「創造」或者「有意向」的有神論似乎從無神論中演變出來，但是我認為這仍然屬於有神論。當我看到充滿激情的超人類主義者談論他們的信念的時候， 我幾乎能感覺到那種技術樂觀主義的光芒從他們身上生理性地輻射出來。他們的這種反應可能是某種具身感知（embodied sensations）的殘留。雖然他們希望用一種更加純粹的，非生理的理性存在來替代這種身體感受，但它卻正是馬克思·韋伯所謂的克里斯瑪權威 的基礎，也被宗教領袖們利用了千年之久。宗教的故事和形式仍然激勵著我們對 AI 的渴望，這種奇怪的敘事交匯隱含著什麼？

最可能的答案是，當我們試圖去描述難以形容的事物——奇點，也即是未來本身——即使我們當中最世俗的人都無法避免使用我們最熟悉的形而上學的辭彙庫。

當試圖去思考與另一種智慧形式進行溝通， 當試圖召喚出這種智慧，當試圖去想像這樣一種智慧可能預示的未來時， 我們落回了原有的文化習慣中。

展望 AI 的未來會讓我們深思：當我們不再是惟一的創造者， 惟一的思想者， 惟一能夠改變自己命運的有意識生命時， 我們作為一個人的目的和意義是什麼。

我們使用著我們祖先曾經使用過的辭彙，這些來源於不同傳統的辭彙塑成了這個世界（即基督教思想的邏各斯（logos））。

無論我們認為自己世俗與否，我們都被這些辭彙所定義。我們站在這些「天使」的翅膀上迎接 AI 的未來。沒有它們的羽毛，沉重的想像力不可能被托起 。

無論「天使」們是人工的還是神造的。

作者：Beth Singler

文章首圖/尾圖：Edward Hopper

文章來源：aeon

翻譯： 於翮

文字編輯：華夏

版式設計：童畫 姜如月

插圖編輯：姜如月 劉果

校對：姜如月 付安琪

wxp://f2f0jiSlhO0J65BhCOb7jkpkTynIJk6AKsrw (二維碼自動識別)