漫談人工智慧與倫理道德 (IJCAI 2018)

來自專欄機器有顆玻璃心6 人贊了文章

引子：從自動駕駛開始

近一兩年，隨著人工智慧大潮的火熱，關於自動駕駛車的新聞與研究層出不窮。以Google、Baidu、Tencent、BMW為首的科技巨頭們集思廣益，不斷地在自動駕駛方面的研究中開疆擴土。說到自動駕駛，我們不妨來看下圖這樣一個選擇題：

如果自動駕駛車失靈了，它應該往哪個方向走？

- 是像左圖那樣撞上不遵守交通規則的女經理

無論哪種選擇，都不可避免地會造成一方的傷害。事實上，無論是Google、Baidu等這些自動駕駛車的製造和研究者，還是自動駕駛車的潛在用戶，均無法給出一個完美的答案。

這就引出了人工智慧與倫理道德的問題。在AI技術大行其道的今天，我們不應該只專註於發展技術，更有必要就AI與倫理道德的問題進行一些探討。沒有倫理道德，AI在服務大眾時也會捉襟見肘。

人工智慧與倫理道德

2017年，新華網的一篇報道指出，人工智慧讓人類尷尬，因為倫理道德法律框架設計滯後。不久後，科技巨頭Google和美國軍方關於將AI用於武器的時間也持續在網上發酵。近幾日，由Elon Mask等知名科學家、企業家組成的2000多人也在國際人工智慧聯合會(IJCAI)上共同簽署了地址將AI武器化的宣言。這些報道的源頭都指向了一個我們不可忽視的領域：人工智慧與倫理道德。

今年剛剛發表在國際人工智慧聯合會IJCAI上的一篇文章"Building Ethics into Artificial Intelligence"就探討了這個問題。文章的第一作者是來自新加坡南洋理工大學(NTU)的Han Yu博士。我們主要以此論文為基礎，簡要介紹當前的研究現狀。想對這個新興領域有深入了解的讀者，可以去這裡閱讀完整的論文。

何為倫理道德？

倫理道德(Ethics)是人類活動需要遵循的最起碼的一些準則。它包括以下三個維度的考量：

1. 結果導向道德性。當一個智能體通過權衡各種決策，最終選擇出最具道德性的結果時，我們就認為它具有了倫理道德。
2. 行為方式道德性。當一個智能體在特定環境中能夠遵循已有的規則和任務要求而作出行為時，我們就認為它具有了倫理道德。
3. 品質精神道德行。當一個智能體根據某種道德品質(例如勇敢、正義等)進行思考時，我們就認為它具有了倫理道德。

相關研究成果

作者將AI與倫理道德的相關研究分為以下四個方面：

1. AI面臨的道德困境(Ethical Dilemmas)。
2. 個體AI決策框架(Individual Ethical Decision Frameworks)。
3. 群體AI決策框架(Collective Ethical Decision Frameworks)。
4. 人與AI交互中的倫理道德(Ethics in Human-AI Interactions)。

下面我們就每個方面，簡要介紹相關的研究成果。

AI面臨的道德困境

構建具有倫理道德的AI系統之前，我們必須先了解AI系統所面臨的道德困境。為了達到此目的，美國的科學家們設計了一個叫做GenEth的道德困境分析器。他們發現，與智能系統有關的道德倫理問題通常會超出系統設計者的掌控。因此，GenEth的設計目標就是要將倫理學考慮進去。他們提出了一系列的有關AI和道德的考慮內容：行為特徵，責任，行為，樣例，以及行為準則等等。

另一方面，美國MIT設計了一個叫做道德機器(Moral Machine)的網站，使用眾包的方式收集用戶對於自動假設車道德困境的選擇。當自動駕駛車突然失靈時，它應該如何選擇？本文最開始的圖便來自這個網站。很明顯，當我們在未來大量使用無人車時，這個問題就變得很重要了。

通過收集300萬用戶的反饋，道德機器網站發現：

• 如果能拯救更多的人，人們更傾向於讓自動駕駛車自毀。
• 如果通過殺死車上的乘客能避免傷害更多的人，人們通常樂於接受這個特徵，但是卻希望自己的車上沒有這個特徵。

然而，對於哪種才是最符合倫理道德的做法，還是莫衷一是。這方面的研究也剛剛興起，我們期待更多更好的發現能夠彌補現有研究的不足。

個體AI決策框架

當談到AI決策框架時，人們大體上同意，這個框架應該是統一的，而不是個性化的。

個體的AI決策框架在考慮倫理時，通常會採用基於規則的一些方法，以及基於實例的方法。通過一些遊戲理論和機器學習的方法來設計相應的模型，採用一種以目標為中心的行為選擇機制。最終的目標是為了取得與普遍認同的社會價值觀的協調一致。

2008年的一項研究發現，人們做出的有關道德的決策不僅僅會考慮到自身的利益，還會考慮到道德的準則。這些規則通常與文化無關。科學家提出了MoralDM系統，使得AI系統能夠利用兩種機制將倫理道德考慮進去：一種是第一原則的推理，也就是讓系統基於一些已有的原則進行決策；另一種則是類比式推理，也就是將現有的情境類比到先前的情景以做出決策。然而，由於收集到的示例不斷增加，MoralDM系統的計算開銷也越來越大。因此，2015年，另一些科學家擴展了MoralDM，對其進行了相應的優化。2016年，科學家又提出了一種可以讓AI系統自行進行倫理決策的新系統，它以信任-渴望-意圖模型為基礎。2017年，基於遊戲和機器學習的通用AI倫理系統被提出。此外，還有一些基於CP-net的方法也被提出。

強化學習是一種被經常使用的決策機制。因此，它也可以用來考慮如何做出具有道德倫理性的決策。將先前的知識集成到強化學習的反饋函數中，作者提出了ethics shaping方法。系統將它觀察到的人類行為認為具有倫理道德性，然後用強化學習的機制指導自己不斷進行類比地學習。

群體AI決策框架

在多個AI系統中進行決策時，顯然只考慮單個系統的倫理性是不夠的。這就引出了群體AI決策框架中的倫理道德。這個方面的研究主要包括兩個方面：評價自己與其他系統的倫理，和基於社會標準的不斷進化。

2014和2015年，研究人員提出用社會標準來約束AI系統。2016年的研究中，研究人員讓人類和AI進行協同式的倫理決策。另一種方式是對不同維度的倫理道德進行分別靠考量，最後將決策進行融合。2018年最新的研究成果中，一些研究人員提出了多個智能體的投票系統。

目前群體AI決策框架的研究相對個體框架而言，還處於起步階段。預計未來會有更多的相關研究。

人與AI交互中的倫理道德

在人現AI交互中，AI可以影響人的行為。這種行為準則包含三個核心要求：人們的自主性不應該被違背，由科技帶來的益處應該衡量風險，以及益處和風險應該被公平地分布到用戶中。當然，如何度量收益和風險是一個開放的問題，儘管最近IEEE給出了一個關於倫理的設計指南(IEEE Ethically Aligned Design guide)。在最近的一些論文中，以人為中心的考量也被包括進了AI系統中。

勸說系統可能是一種AI可能影響人們行為的代表。義大利的科學家們做了一個大規模的研究來探索人與AI勸說系統的關係。這個問題中的道德困境是：將一個無辜的路人推到火車軌道以挽救其他的5個人。 作者通過撒謊、情緒感染、和利誘三種方式對實驗參與者進行影響。實驗結果顯示參與人員對AI系統有一種負面心理。

在另一個實驗中，科學家發現，如果一個智能體的行為違反了一種給定的道德規則，那麼它的shame(羞恥)情緒就會被激活，以此來降低它當前行為的優先順序。如果另一個智能體的行為違反了給定的道德準則，當前智能體的reproach(責備)的情緒將會激活，以使得自己遠離此智能體。

總結與展望

通過對最近的研究進行概括可以發現，它們主要集中於研究可泛化的個體道德決策框架，在其中集成規則和相關的示例。更多的工作也需要從人們的行為中收集數據。如何使AI系統做出更具道德倫理性的判斷，是當前人與AI交互系統的重點。

另一方面，由於自動駕駛車、自動化武器等成為了現實，我們需要開發一種統一的全局的AI道德框架來解決這些問題。未來可能的研究方向有：

1. 更可靠更好用的眾包數據收集機制。
2. 由於AI越來越多地被應用於生活中，我們可以考慮修改完善當前的一些社會約束。
3. AI系統需要合理地解釋它們的決策行為。
4. 將具有倫理特性的AI系統引入生活中，如何會影響人們的行為體系？
5. 通過對抗性的遊戲研究來設計更好的倫理AI。
6. 將相關的各個交叉學科聯繫起來，協同合作，研究AI相關的倫理道德。

我們期待未來會有更多的研究者從事到這個新興的領域中，做出更多更好的研究。

References

[1] 本文所講述的論文：Yu H, Shen Z, Miao C, et al. Building Ethics into Artificial Intelligence[C]//IJCAI. 2018: 5527-5533.

[2] 新華網報道：http://www.xinhuanet.com/fortune/2017-11/21/c_1121987357.htm