AI倫理學教授：機器人也要講道德 人類有意識是偶然

本文系網易智能工作室（公眾號smartman 163）出品，此篇為AI英雄人物第64期。

選自| Gigaom

編譯| 網易智能

參與| 李擎

本期對話嘉賓為艾倫·溫菲爾德(Alan Winfield)，他是西英格蘭大學機器人倫理學教授、世界經濟論壇理事會Future of Technology Values and Policy部門的成員、人類大腦項目倫理諮詢委員會的成員、Frontiers in Evolutionary Robotics的副主編。

人物觀點：

我們並不能人工建立一個類似的道德主體，所以，我們目前能做到的就是在有限的意義上建立較低級別的道德機器人，它們可以根據特定的倫理規則來選擇它們的行為。有一些非常簡單的原則大多數人都會同意，比如，機器人不應該傷害人，也不應該見人受到傷害而袖手旁觀。

我認為，互聯網不可能有自我意識，是因為它沒有正確的架構，而不是因為它沒有足夠的處理器和連接。

世上不存在普遍的道德規劃 這種情況如何約束AI？

問：機器人倫理學家是做什麼的？

Alan Winfield：我認為對這一職業最簡單最概況的總結就是，機器人倫理學家就是那些為機器人和人工智慧的倫理和社會影響及其後果而擔憂的人。所以，從某種程度上說，我是一個專業的擔憂者。

問：機器人倫理學是關於我們如何使用機器人的倫理道德規範，還是機器人自身行為的道德準則？

Alan Winfield：這兩個都是，我大部分的工作涉及的是前者。換句話說，就是探尋人類——包括人類工程師、機器人製造商和維護者、維修人員等等，也就是每個與人工智慧和機器人有關的人，應該如何採取負責任和道德的行為，盡量減少人工智慧和機器人對我們的社會，我們每一個人以及我們的星球帶來的不必要的道德後果和危害，如果人們願意的話。

你剛才提到的第二點，人工智慧和機器人行為的道德準則，這更像是一個研究問題。它沒有第一個問題那樣緊迫性，而且它確實是一個非常有趣的問題。我正在研究的問題之一就是我們如何創造出合乎倫理道德的機器人。

問：合乎倫理的機器人，是不是可以理解為機器人本身就是一個道德主體？

Alan Winfield：是的，可以這麼說。但是請記住，目前，唯一的完整意義上的道德主體是像你我一樣的成年人類，當然不是所有的人類，是心智健全的成年人類。當然，我們並不能人工建立一個類似的道德主體，所以，我們目前能做到的就是在有限的意義上建立較低級別的道德機器人，它們可以根據特定的倫理規則來選擇它們的行為。但是，不像你我，它們不能決定是否要遵守道德，當然也不能在事後證明它們自己的行為是正確的。

問：當你想到未來，關於道德主體，甚至是我們如何道德地使用機器人時，你如何看待這樣一個事實——即沒有兩個人能在所有倫理問題上達成一致？也就是說，在這個世界上，人們關於什麼是道德行為，什麼是不道德行為的定義是不同的。所以，你不是在向一個最初就定義不明確的目標射擊嗎？

Alan Winfield：當然，確實有這個問題。就像你說的，並不存在單一的、普遍的道德規範，即使是在某一個特定的傳統中也沒有，比如說，在西方的倫理傳統中，就有很多道德規範，無論是結果主義倫理，還是道義、道德，都是很複雜的。但我想說的是，你可以把所有這些都抽象出來，有一些非常簡單的原則大多數人都會同意，比如，機器人不應該傷害人，也不應該見人受到傷害而袖手旁觀。

這恰好是阿西莫夫機器人第一定律，我認為以此作為起點相當明智。阿西莫夫的機器人第一定律是通用的，但是，我想說的是，我們可能只會採用非常少的倫理道德規範，即使它們不是普遍的，也要能引起人們廣泛的關注和認同。

問：然而，在人工智慧領域，有大量的資金被用於這一方面，對嗎？例如，在軍隊中使用的機器人，特別是，包括那些實際上正在做，或者是被設計用來殺人和給人類帶來傷害的機器人，所以，我們這個看似很明確的起點甚至都不能實現。

Alan Winfield：的確，人工智慧和任何技術的武器化都是我們都應該關注的問題。我的意思是，你是對的，現實世界中有武器。但這並不意味著我們不應該為實現一個技術沒有被武器化的更好的世界而努力。是的，這是一個理想主義的觀點，但是機器人倫理學家就是理想主義者。

問：地雷是不是一個使用了人工智慧的、被設計用來殺人的機器？如果人工智慧檢測到物體重量超過了45磅，就會運行爆炸的程序，那麼它是一個能夠自行做出殺人決定的機器人嗎？

Alan Winfield：在某種程度上，我認為你可以說這是一個自動測量計，或者說是自動機。它有一個感測器——也就是一個能感知重量的裝置——和一個致動器，由此觸發爆炸程序。但事實是，地雷是一種可怕的武器，早就應該被禁止，而且大部分已經被禁止了，當然，全世界仍在清除地雷。

從大腦到思想再追溯到意識

問：談談白蟻巢穴，白蟻們不知道它們在做什麼，它們沒有一個明確的、有始有終的任務。如果所有這些都是真的，那麼人類的思維就不應該是一個湧現性現象，因為我們確實有目標，我們知道我們在做什麼。

Alan Winfield：嗯，我不完全同意這個觀點。我的意思是，我們的確認為我們知道自己在做什麼，但這很可能是一種幻覺，只是不管怎樣，我們都會堅持下去。

問：這是一個很好的切入點，所以，你指的是我們本能地做某件事，然後我們的大腦就會開始思考我為什麼要這樣做，然後它會逆轉這兩件事的順序然後說，「是我決定這麼做的。這就是我為什麼要這麼做的原因。」

Alan Winfield：我的意思是，這可能正確，也可能不正確。但我真正想說的是，當你談論人類的行為，目標，動機等等時，你真正看到的是一個非同尋常的、多層次過程的最頂層，我們不能真正理解整個過程。我的意思是，在較低層次的過程之間，存在巨大的鴻溝，這些也是我們所不能理解的，換句話說，就是單個神經元之間的相互作用，以及意識的湧現性，主觀經驗，知覺等等。

這個過程有很多個層次，而最頂層，也就是人類的行為，也是通過語言和文化來調節的，我們不能忽略這一點。你和我在一百萬年前可能就不會有這樣的對話了。重點是，我們現在可以思考和討論的東西，如果沒有這個特殊的、存在於大多數人類的頭腦中的文化體系，我們就不能討論這些了。

我們是社會性的動物，這是另一種湧現性。先有意識的湧現性，然後是心智，然後形成了社會的湧現性，到最後就是文化的湧現性。在這中間的某個地方，存在著語言。所以，當你開始問像「是的，但是這樣一個湧現性系統怎麼能有目標，有任務呢？」這樣的問題時，我認為很難分離出其中的某一個方面。也許，現代人類在這個特定的文化中確實擁有——也許更確切地說——我們認為的目標和動機，但是誰知道這真正是什麼呢？我想我們可能不需要向前追溯幾十或幾百代人，去發現我們的目標和動機和大多數動物沒有什麼不同，而這些動物只是為了填飽肚子，為了生存。

問：所以，讓我們從大腦到思想再追溯到意識。也許在一百萬年前，你是對的，但有些人會堅持認為，當我們有意識之後，本質上，那就是我們開始變得主動，開始有目標和意圖的時候。所以，我會問你一個無法回答的問題，你認為意識是如何產生的？

Alan Winfield：我當然認為這是一種湧現特性，但我認為這是一種很好的適應性特徵，而且我認為意識的出現只是一場偶然。但我認為這是一種有價值的適應，因此，在我們的進化史上——可能是最近的進化歷史——有些人開始喜歡引人注目，喜歡作為主體，享受在這個世界上作為獨立個體的主觀體驗，我懷疑他們比他們的同類有更強的適應性，而其他人沒有這種特點。

我認為意識的出現與人類之間的交際行為密切相關。我認為，為了成為社會性動物，我們必須有心智理論。要想成為一個成功的社會動物，你需要能夠駕馭人際關係和社會等級制度的複雜性，以及等級排序等等。

我們知道，黑猩猩在我們所謂的「權術主義智慧（Machiavellian intelligence）」方面確實相當老練。換句話說，有了這種社會智慧，你會故意地，操縱你的行為以獲得一些社會優勢。換句話說，我假裝想要了解你，不是因為我真的想了解你，而是因為我知道你和某個人是朋友，而我真的很想和她做朋友。這就是權術主義智慧。黑猩猩似乎很擅長這一方面，而且可能和我們人類一樣擅長。

為了能夠擁有這種權術主義智慧，就需要有心智理論。心智理論意味著你對自己的同類有一個非常複雜的概念。現在，我認為，反過來，是由於我們有複雜的身體，難以控制的身體，因此，我們，在我們的進化史上的早期，開始有相當複雜的身體自我形象。換句話說，也就是一個內部的模擬，或者稱之為，一個我們自己身體的內部模型。

當然，擁有自己的身體模型的美妙之處在於，你也會自動擁有一個同類的模型。所以，我認為，是由於一種自我模式的引導，讓我們有了心智理論。然後，我想，一旦你有了心智理論——我不知道從什麼時候開始——我們就可以開始相互模仿，換句話說，就是做社會學習。

我認為社會學習是現代思想進化的又一個巨大的進步。我的意思是，社會學習比個人學習更有力量。然後這種傳遞知識的能力會從祖先傳給後代，特別是在人們發明了寫作、符號和語言之後，寫作當然是很久以後的事了，但是我認為所有這些都是必要的，但也許還不足以滿足產生意識的先決條件。我的意思是，這很有趣，我不知道你是否知道朱利安·傑恩斯的書。

問：當然知道《二分心智》，直到公元前500年我們才有自我意識，而希臘諸神和神諭的興起，只是因為我們意識到了我們已經失去了過去在頭腦中能夠聽到的聲音。

Alan Winfield：我認為這是一個激進的假設。沒有多少人相信這個觀點。但我認為這是非常有趣的，這種觀點認為現代的意識可能是最新的一種適應性，記錄了從荷馬史詩時代以來的歷史。所以，我認為，可能永遠不會有人知道意識是如何進化的。就像很多自然歷史一樣，我們只能有「原來如此」的故事，我們只能有可信度或高或低的假設。

但我堅決相信產生意識的關鍵的先決條件是內部模型。Dan Dennett提出過一個概念框架，他稱之為「Tower of Generate-and-Test」，基於這個概念的生物都能非常複雜的方法來產生並測試關於它們接下來採取什麼行動的假設。其中的波普式造物（Popperian creatures）理論，提到生物有一種神奇的創新，它能夠在做某件事之前想像出其行動的結果。因此，他們可以意識到某個行為是糟糕的，並決定不去嘗試，因為這很可能是非常危險的。

他還提出，波普式造物的一個子類就是格列高利式造物（Gregorian creatures），這一類型下的生物發明了思維工具，比如語言，因此有了這種額外的非凡的能力，可以從其它生物那裡相互學習。我認為，社會學習和心智理論在意識的出現中是很重要的。當然，我也會大膽地說，我認為獨居的動物並不具備你和我所擁有的那種意識。

問：所以，也就是說，我們不知道意識是怎麼來的，並且你剛才說我們可能永遠也不會知道。但實際問題還要棘手得多，因為我們不知道的不僅僅是意識的由來，我們也沒有任何科學來闡釋我們是如何感覺到某種東西的，我們又怎麼能體驗到一些東西而不是僅僅感覺到它呢？那麼，你認為我們的「主觀體驗」到底是什麼呢？

Alan Winfield：這是一個非常複雜的問題。我之前提到的只是一個非常小的前提條件，我不是說這就是「什麼是意識」的答案。有一些關於意識的有趣理論。比如說，我很喜歡托馬斯·梅辛格（Thomas Metzinger）的理論，我認為至少對我來說是一個非常有吸引力的意識理論，因為它是建立在內部自我模型的基礎上的，我已經指出我對自我模型很感興趣，而且對他提出的自我模型的概念很感興趣。

現在，正如你所說的，我們的誤解中存在著巨大的鴻溝，我們甚至都不知道應該問什麼問題，更不用說回答了，但我認為我們正在慢慢地靠近真相。我認為人類在意識研究方面正在取得進步。我的意思是，安尼爾·賽斯（Anil Seth）在這方面的研究也非常有趣。

問：很多時候，當人們看到人類的大腦時，他們會說，「嗯，我們不理解它的原因是因為它有一千億個神經元。」然而，人們已經努力了二十年，將線蟲的302個神經元取出來，並試著創造一種數字化的生活，將其模型化，儘管我們能複製出一個擁有300個神經元的大腦，我們根本不能理解大腦是如何工作的。甚至有些人認為單個神經元可能和超級計算機一樣複雜。你怎麼看？為什麼我們不能理解線蟲的大腦是如何工作的呢？

Alan Winfield：當然，「理解」是一個多層次的東西。在某種程度上，我們能夠理解線蟲的神經系統是如何工作的。我的意思是，我們可以理解，這是真的。但是，和所有的科學一樣，「理解」或者科學模型在某種程度上是抽象的。如果你想深入了解，提高理解的程度，我想這就是開始遇到困難的時候。

因為正如你所說的，當我們用計算機模擬線蟲時，我們不能以完全的保真度模擬出每一個單獨的神經元。為什麼不能呢？不僅因為它非常複雜，還因為我們還不能完全理解一個生物神經元的所有內部過程。但這並不意味著我們不能，在一些有用的、有意義的抽象層面上，弄清楚對某一特定感覺器官的刺激將會導致某一特定的連鎖反應，於是會導致肌肉的抽搐。我們當然可以做到這一點。

除了人類，誰還擁有意識？

問：你寫了一篇名為Robots with Internal Models: A Route to Self-Aware and Hence, Safer Robots的論文，你在剛才也提到過內部模型。你在論文中反覆提到三個術語。第一個是自我意識（self-awareness）。你提到了蓋洛普的紅點測試，這個測試可以證明「我就是我自己」。我可以在鏡子里看到一個人額頭上有一個紅點，我知道那是我，我會試著把它從我的額頭上抹去。這就是自我意識的概念。第二個術語是感覺（sentience），當然它經常被誤用，感覺當然是指能夠感知一些東西，通常是感覺疼痛。第三個是意識（consciousness），也就是，「我經歷過某件事。」自我意識是否意味著感覺，而感覺是否意味著有意識？或者自我意識只是自我意識，不是感覺或意識？

Alan Winfield：我不認為這是絕對的。換句話說，我認為所有這些都是有一定程度的。我的意思是，即使是簡單的動物也要有一些有限的自我意識。我認為最簡單的一種自我意識，就是所有動物都需要能夠分辨出自己和其它動物不同。如果不能分辨出自己和其它動物之間的區別，那麼它會很難在這個世界上生存。

現在，我認為這是一種非常有限的自我意識，儘管我不會因為那些低級動物能夠區分自己和其它動物之間的區別，就說它們有感覺或意識。所以，我認為這些東西都是有程度的。

意識也是分程度的，毋庸置疑，人類的某些屬性是獨特的。我們幾乎肯定是地球上唯一能夠思考「思考」這件事的動物。也就是反身的能力，能夠自己給自己提出問題。

但是，即使黑猩猩可能不能思考「思考」這件事本身，我認為它是有意識的。它們顯然有很多其它的意識屬性。不僅是黑猩猩，還有其它動物，能夠很明顯地感覺到疼痛，或者感到悲傷，感到難過。當某個動物家族的成員死亡或被殺死時，其它動物的反應能夠證明它們有意識。而且有很多動物，我們幾乎本能地感覺到它們有很高程度的意識。海豚就是一個例子。而最令人費解的動物，是章魚。

問：那麼植物呢？植物是否有自我意識、感覺、知覺或意識？

Alan Winfield：這個問題問得好。當然，植物是有智慧的。這裡用「智能（intelligence）」這個詞可能更合適。但是，這也許只是一種有限形式的自我意識，一種非常有限的感覺，因為從某種意義上說，植物確實能感知周圍的環境。植物，樹木，顯然對鄰近植物或害蟲的攻擊有一定的感知和反應，而且似乎能夠作出反應，保護自己和周圍的同種個體。

所以，植物的行為，植物的智慧，是非常複雜的，才剛剛開始被我們理解。我有一個朋友，Danny Chamovitz，他是以色列特拉維夫大學的生物學家，他寫了一本關於植物智能的很棒的書，非常值得一讀。

問：你不可能把人類大腦放到顯微鏡下然後說，「這些東西是有意識的。」所以，我想，詹姆斯·洛夫洛克（蓋亞假說的提出者）會注意到——我不知道他在這個問題上的立場是什麼——地球自身在狹窄的範圍內控制了如此多的屬性。我再問你一個問題。互聯網呢？互聯網是否有可能實現某種意識或自我意識？我的意思是，它肯定有足夠的處理器。

Alan Winfield：我想也許這個問題的答案，我只是剛剛才思考這個問題，我認為答案是否定的。我不認為互聯網是自我意識。我認為，這與我不認為地球或者這個星球有自我意識是同一個原因，儘管它，正如你說的，是一個驚人的自我調節系統。但我認為，自我意識和感知能力，以及對其它事物的意識，不僅需要高度互聯的網路，它們還需要正確的體系結構。

我們的大腦，我們的神經系統，不是隨機連接的網路。它們有自己的體系結構，而且是進化了的體系結構。當然，它不僅進化了，而且還受到了社會的制約。我的意思是，我一直在說，你們和我能進行這次談話的唯一原因是因為我們共同地，共享一個文化，一個文化環境，而它本身就是高度進化的。所以，我認為意識的出現，與溝通、語言以及最終出現的文化是不可分離的。

我認為，互聯網不可能有自我意識，是因為它沒有正確的架構，而不是因為它沒有足夠的處理器和連接。它顯然有這些，但它與我認為是必要的體系結構沒有聯繫——從某種意義上來說，動物神經系統的架構不是隨機的。這顯然是真的，不是嗎？如果你隨機地連接一千億個神經元，並不能得到一個人類大腦。

問：我覺得你可以說互聯網的主幹和節點是一個有機的結構，但是我同意你的觀點。所以，我想我要講的是如果我們製造出一種有自我意識的，可以感知這個世界的機器，那麼我們如何知道它有自我意識呢？

Alan Winfield：我認為這確實是一個問題，我們很難知道。其中的一種倫理風險，特別是大腦模擬，在某種意義上說，是一種特殊的人工智慧，我們可能會不知不覺地製造出一台機器，它實際上有著非凡的主觀性，甚至更令人擔憂的，它可能正經歷著痛苦。換句話說，一個東西正在經歷痛苦。最糟糕的是，正如你說的，我們甚至可能不知道它正在經歷這樣的痛苦。

問：比如我的掃地機器人突然意識到了它自己，我們也冒著最終製造一個龐大的數字奴隸種族的風險，對吧？在我們的意志中，我們所做的一切，都是為了感受和感知世界。

Alan Winfield：嗯，是的，機器人作為奴隸的道德問題是另一個問題。我們不要混淆它。從某種意義上說，在機器人的道德問題上我不怎麼困擾，因為它們沒有感覺和意識，它們在道德上的要求，我不會說完全沒有，但它們在道德上的要求很低。

自動駕駛汽車發生交通事故 人類需要對此負責

問：當機器人倫理問題，或者人工智慧倫理問題出現，人們會說這是我們必須考慮的一個直接的例子——除了在戰爭中是否應該使用這些設備之外——每個人都知道的例子是，自動駕駛汽車是應該開車衝下懸崖還是撞向一個人？有一家自動駕駛汽車製造商站出來說：「我們會保護司機。我們就是這麼做的。」作為一個機器人倫理學家，你覺得應該如何解決這個問題，這個孤立的，真實的世界問題？

Alan Winfield：我認為道德困境的問題，尤其是「電車難題」，在現實生活中是非常非常罕見的。我的意思是，像你我這樣的人，我猜你平時會經常開車，而且你可能已經開了很多年的車，你遇到過多少次電車難題呢？答案是從來沒有過。

問：但是你知道在事故中汽車確實有可能會碾壓到行人。

Alan Winfield：承擔責任的並不一定是程序員，但確實是人類。我的觀點——我對此持非常強硬的態度——是人類，而不是機器人，應該承擔責任，此處的機器人包括人工智慧在內。因此，無論無人駕駛汽車是如何編程的，它都不能承擔責任。我認為這是一個絕對的基礎，至少目前是這樣的。在幾百年以後，也許情況會稍微有不同，但是，現在，我持一個非常簡單的觀點——機器人和AI都不應該負責，應該負責的只有人類。

那麼現在，一輛無人駕駛汽車應該遵守什麼道德規範呢？我認為這是一個社會問題。當然，這並不取決於程序員的設計，甚至是製造商的決定。我認為這必須是一個社會問題。所以，你是對的，當我們有無人駕駛汽車時，仍然會有事故發生，當然事故會發生得比較少，但偶爾還是會有，人們仍然可能會在車禍中喪生，也就是無人駕駛汽車犯錯誤的時候。

現在，我們需要做幾件事。我認為，我們需要能夠找出為什麼無人駕駛汽車出了問題，這意味著無人駕駛汽車需要安裝類似在飛機上安裝的飛行數據記錄器，我稱之為「道德黑匣子（ethical black box）」。我們需要有監管機構，這意味著製造商有義務將這些黑匣子安裝到無人駕駛汽車上；事故調查人員有權威和權力，能夠查看這些「道德黑匣子」中的數據，找出問題出在哪裡。

但是，即使這些監管全部到位，我覺得，一定還是會有一些偶然的事故，其唯一的解決辦法就是將道德標準應用到無人駕駛汽車中。但是，如果我們確實把無人駕駛汽車的行為與道德規範相匹配，那麼這些倫理道德需要由整個社會來決定，這樣我們就能共同承擔起那些發生事故和人們受到傷害的少數案例的責任。

問：Weizenbaum是著名的ELIZA聊天機器人的發明者，如果你輸入，「我有個問題」，它會說，「你有什麼問題？」「我和我的父母有矛盾，」「你和你的父母有什麼矛盾？」就像這樣繼續下去。Weizenbaum寫了這個程序，然後他注意到人們對聊天機器人產生了情感上的依戀，儘管他們知道這只是一個簡單的程序。他區分了決定和選擇的概念。他說，「機器人應該做決定。這是一種計算機操作。但它們永遠不應該做選擇。選擇是人類應該做的。」你認為他這種說法對嗎，你對這種區別有什麼看法？他認為，人希望機器有同理心，這從根本上就是錯誤的，因為這樣做沒有高估機器的能力，而是貶低了人類。

Alan Winfield：是的，我當然堅決認為，如果我們用機器人作為個人助理或者聊天機器人，顧問或者夥伴，無論是什麼，都需要在一個非常嚴格的道德框架內完成這些，確保沒有人被欺騙，沒有人被剝削。我能想到的一個關於欺騙的例子就是，在使用聊天機器人時，相信你真的是在和一個人說話，或者，即使你意識到你不是在和一個人說話，也相信這個系統，相信機器在照顧你，機器對你有感情。

我當然不會堅決認為我們永遠也不應該有這種夥伴系統，因為我認為在某些情況下，毫無疑問，它們是有價值的。比如說，機器人寵物。當可能患有痴呆症的老人進入療養院時，他們所經歷的最大的創傷之一就是把他們的寵物丟在一旁。我和一個在養老院工作的人交流過，他說，那些老年痴呆患者，表示希望他們住的地方有機器人寵物。

現在，這些老年人可能會意識到，機器人寵物並不是真正的動物，但是，在某種意義上，他們仍然可能會覺得這個機器人很在意它們。我認為這是可以的，因為我認為，和欺騙造成的心理傷害相比，更重的是機器人寵物對治療的益處。

但我想說的是，我認為我們需要強有力的道德框架，指導方針和規定，保證弱勢群體，尤其是兒童，殘疾人，老年人尤其是可能患有痴呆症的老人，不會被肆無忌憚的製造商或設計師設計出的看似有感情的系統所利用。

問：關於科幻小說你怎麼看？你是否會覺得任何科幻小說、電影或電視節目中的情形「啊，這可能會發生"？

Alan Winfield：我讀過很多科幻小說，當然不是所有都會發生，但很多時候我希望或者喜歡看到其中一些能夠發生。通常最好的科幻小說都是反烏托邦的，但這也沒關係，因為好的科幻小說就像一個思想實驗，不過我也喜歡烏托邦式的幻想。而且我更喜歡Iain M.Banks的The Culture系列中的AI烏托邦——在這個世界裡，有很多極其聰明的，非常神秘的人工智慧，但是，儘管如此，它們是善良和仁慈的，會照顧那些貧窮的人。我有點喜歡他這個想法。（完）

推薦閱讀：