只有了解人之常情，才能開發出安全的強AI

09-17

1 人贊了文章

「知識」用英國記者Miles Kington的話說就是，知道番茄是水果，而「智慧」是指知道按照常規不應該把番茄放進水果沙拉中。

任何AI顯然都需要掌握大量的知識，但是如果要將AI機器人在社會中廣泛應用，不管是應用在高速路、養老院和學校、商店還是政府，都會需要學識淵博且智慧的AI。

另一方面，專註解決AI安全性或者AI一致性的科研人員眼中的人工智慧是，在解決一些特定的認知任務上效率可趕上或超越人類的機器。目前市面上的大部分AI都屬於這個狹義的範疇，也就是只能執行特定分工的弱人工智慧，比如無人駕駛技術和面部識別系統。

但是一些科研人員開始研究一種能夠在任何認知任務上超越人類的機器，也就是強人工智慧/通用人工智慧（AGI）。雖然什麼時候會出現第一款AGI，甚至這項技術有沒有可能實現，都是未知數，但是很明顯這項研究方向將會帶來可以在經濟和社會中得到更多應用的、更強大的、更智能的AI系統。

開發能夠完成任何認知任務的AI機器意味著，這款AI不僅要了解關於番茄的生物知識，還要了解人們處理番茄時遵循的多變的規律。

人類社會充滿了各種各樣的常規，不管是吃飯、穿衣、說話，還是分享信息、對待別人和追尋目標，都需要遵守一定的規矩。真正強大且安全的AI將需要了解不同群體的規矩各有不同，雖然感覺這麼多規矩沒有必要，但是在特定的群體遵守特定的規矩也是很重要的。

打個比方，上面說過番茄放進水果沙拉中不符合常規，說的是英國人的規矩，但是對於韓國人或者前衛的廚師來說並不奇怪。雖然只是個沙拉放不放番茄的小問題，但是給特定的客人吃，可能會讓對方不解、噁心甚至憤怒，不利於維持良好的關係。

當然，上面說的規矩不局限於事物的搭配這種小事，還包括一些對於社會非常重要的問題：誰和誰結婚、如何對待孩子、誰享有權利、企業如何產出商品和服務以及如何定價，還有評判是如何公開的。

能夠遵守社會常規的成功且安全的AI，不僅需要理解科學知識，還要了解人類規範系統的機制。人類的規矩跟一成不變的生物學不同，是敏感多變的，人類每天都在制定與重新制定規矩以適應不斷變化的局勢。

社會規範體系之所以重要，是因為人類需要依靠規範來約束群體、工作、社會環境中的每個個體。只有在每個人都遵守一定規範的情況下，大家才願意去建立信任、互相接受和共存。

同樣，讓強大的AI也學習人類指定的規範也將會與此相似，就好像培養孩子在規範的主流社會中生存的能力一樣，我們也需要將AI訓練出能夠遵守的能力。了解關於宇宙的大量知識對於AI來說並不夠，要想在社會中有極強的競爭力，就還需要了解不同群體中的規矩。而對於AI來說，違背規矩不止會惹惱群體中的人，可能還會受到人類的懼怕甚至排斥。

也就是說，要想實現《生命3.0》中描述那種AI與人類共存的社會，建立強大的AGI，就要先理解最基礎的人類傳統，而這將會是AI研究中面臨的最大挑戰。