【可解釋 AI 重大突破】DeepMind 構建心智理論神經網路讓機器互相理解

DeepMind 近日發表的最新研究提出 「機器心智理論」（Machine Theory of Mind），啟發自心理學中的 「心智理論」，研究者構建了一個心智理論的神經網路 ToMnet，並通過一系列實驗證明它具有心智能力。這是開發多智能體 AI 系統，構建機器 - 人機交互的中介技術，以及推進可解釋 AI 發展的重要一步。

心智理論（ToM; Premack＆Woodruff，1978）泛指人類能夠理解自己以及他人的心理狀態的能力，這些心理狀態包括慾望、信仰、意圖等。DeepMind 的研究人員試圖訓練一台機器來構建這樣的模型。他們設計了一個心智理論的神經網路（Theory of Mind neural network）——ToMnet，該網路使用元學習通過觀察其行為來構建智能體（agent）所遇到的模型。通過這個過程，ToMnet 獲得了一個關於智能體的行為的強大先驗模型，以及僅使用少量行為觀察就能更豐富地預測智能體的特徵和心理狀態的能力。研究者將 ToMnet 應用到簡單的格子環境中的智能體，表明它可以學習模擬來自不同群體的隨機、演算法和深度強化學習 agent，並且它通過了經典的 ToM 任務測試，例如 「Sally-Anne test」（Wimmer＆Perner，1983; Baron-Cohen et al., 1985 ）。研究者認為這個系統——智能體自主地學習如何模擬它的世界中的其他智能體——是開發多智能體 AI 系統，構建人機交互的中介技術，以及促進可解釋 AI 進展的重要一步。

受人類心智理論啟發的 「機器心智理論」

目前，深度學習和深度強化學習取得的進展雖然令人興奮，但也有人擔心我們對這些系統的理解是不足的。神經網路通常被描述為不透明的、不可解釋的黑盒。即使我們對其權重有完整的描述，也很難弄清楚它們正在利用的模式，以及它們可能出錯的地方。隨著 AI 越來越多地進入人類世界，理解它們的需求也越來越大。

讓我們停下來問問：對於一個 agent 來說，「理解」 另一個 agent 究竟意味著什麼？作為人類，我們每天都在面對這一挑戰，因為我們每天都在與潛在特徵、潛在狀態和計算過程都幾乎完全無法訪問的其他人類交流。但我們 「理解」 他人功能非常卓越。我們可以預測陌生人未來的行為，並推斷出他們對世界的了解；我們可以規劃與他人的互動，並建立高效的溝通。

對其他 agent 的 「理解」 有一個顯著特點是，它們對 agent 的真正的底層結構幾乎沒有任何參考。我們人類通常不會試圖去估計其他人的神經元的活動，推斷他們前額皮質是怎麼連接的，或者計划去與其他人的海馬體地圖去交互。認知心理學的一個重要觀點是，我們的社會推理取決於其他人的高層次模型（Gopnik＆Wellman，1992），這些模型涉及的抽象概念並未描述所觀察行為的基礎的詳細物理機制；相反，我們理解的是他人的心理狀態，例如他們的慾望、信仰和意圖。這種能力通常被描述為心智理論（ Theory of Mind）。

在這篇論文中，我們從人的心智理論中獲得靈感，試圖構建一個學習對其他智能體進行建模的系統。我們將其描述為 「機器心智理論」（Machine Theory of Mind）。我們的目標不是要提出一種智能體行為的生成模型和反轉它的演算法。相反，我們關注的是觀察者如何自主學習使用有限的數據為其他 agent 建模。這使我們的工作與以前的研究不同，以前的相關研究依賴人工的智能體模型，例如使用反向 RL，貝葉斯推斷，貝葉斯心智理論或博弈論。相反，我們學習智能體模型，以及如何通過 meta-learning 從頭開始對它們進行推理。

構建一個豐富、靈活並且高性能的機器心智理論對 AI 來說是一個巨大的挑戰。本文的一個主要觀點是，構建 ToM 的多數初始的挑戰可能會被視為簡單的學習問題，因為它們是用公式表示的。我們在這裡的工作是對這些簡單公式進行計算的練習。

這項工作有許多潛在的應用。學習他者的豐富模型將改進許多複雜的多智能體任務的決策制定（decision-making），特別是在需要基於模型的規劃和想像的情況下。這些模型對於價值調整和靈活合作也很重要，而且很可能是未來機器道德決策的一個組成部分。它們對傳播和教育學也非常重要，可能在人機交互中扮演關鍵角色。探索這種能力產生的條件也可以揭示人類能力的起源。最後，這些模型可能會成為人類理解人工智慧的重要媒介。

最後，我們的強烈動機是使人工智慧可以為人類所解釋。我們在這裡嘗試一種新的方法：試圖構建中介系統，以減少行為空間的維度，並以更易理解的形式表現它們，而不是修改 agent 的結構以使其內部狀態暴露於人類可解釋的形式。在這個角度上，對機器 ToM 的追求是建立機器與人類期望之間缺失的界面（missing interface）。

研究方法：元學習任務實驗

我們考慮將構建心智理論作為一個 meta-learning 問題。在測試時，我們希望能夠遇到一個我們以前從未見過的新的 agent，並且它們已經有強大而且豐富的關於它們行為先驗知識。此外，當我們看到這個 agent 在它的世界行動時，我們希望能夠收集關於它的潛在特徵和心理狀態的數據（即形成後驗），這將使我們能夠改進對它們未來行為的預測。

為此，我們制定了一個 meta-learning 任務。我們構建了一個觀察者（observer），它在每個 episode 中都可以看到 agent 的一組新的行為痕迹。觀察者的目標是預測 agent 未來的行為。在訓練過程中，觀察者應該從有限的數據中快速形成有關新 agent 的預測。這種關於新 agent 的 「學習」 就是我們所說的 meta-learning。通過這個過程，觀察者還應該學習 agent 行為的有效先驗，這些知識隱含地捕捉了訓練群體中 agent 之間的共性。

我們引入兩個概念來描述這個觀察者網路的組成部分及其功能角色。我們區分了一般心智理論——網路的學習權重，它包含關於訓練集中所有 agent 共同行為的預測，以及特定於 agent 的心智理論——在測試時通過觀察形成的 「agent embedding」，它包含了是什麼使得 agent 的特徵和心理狀態與其他 agent 不同。這些對應於 agent 行為的先驗和後驗。

這篇論文的結構是一系列實驗，這些實驗針對該 「機器心智理論」 的網路（ToMnet）逐漸增加複雜度。這些實驗展示了 ToMnet 的思想，以及它學習其他 agent 豐富模型的能力，這些模型融合了人類心智理論的典型特徵，例如對錯誤信念的認識。

研究貢獻：ToMnet 學會預測和解釋信念

本研究的貢獻如下：

• 在 3.1 節，我們展示了對於簡單的隨機智能體，ToMnet 學會了基於智能體特性的近似貝葉斯最優等級推斷。
• 在 3.2 節，我們展示 ToMnet 學會了推斷 algorithmic agents 的目標（有效執行 few-shot 逆向強化學習），以及它們如何平衡成本和回報。
• 在 3.3 節，我們展示 ToMnet 學會表徵不同種類的深層強化學習智能體，捕捉整個群體變異的關鍵因素，並形成這些智能體的抽象嵌入。我們還表明，ToMnet 可以發現關於行為空間的新抽象。
• 在 3.4 節，我們表明，當 ToMnet 被訓練於 POMDPs 中行動的深度 RL 智能體時，它隱含地知道這些 agent 可能持有關於世界的錯誤信念。這是人類心智理論的核心組成部分。
• 在 3.5 節，我們證明 ToMnet 可以被訓練來預測 agent 的信念狀態，並且明確地揭示了 agent 的錯誤信念。我們還表明，ToMnet 可以僅從它們的行為推斷出不同 agent 能夠看到的內容，以及它們基於此傾向於相信的內容。

更多細節請查閱原論文：https://arxiv.org/pdf/1802.07740.pdf

加入社群

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_1 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

此外，新智元 AI 技術 + 產業領域社群 (智能汽車、機器學習、深度學習、神經網路等) 正在面向正在從事相關領域的工程師及研究人員進行招募。

加入新智元技術社群 共享 AI + 開放平台

【2018 新智元 AI 技術峰會重磅開啟，瘋狂搶票中！】早鳥票 3 折搶票倒計時 5 天開搶

2017 年，作為人工智慧領域最具影響力的產業服務平台——新智元成功舉辦了「新智元開源 · 生態技術峰會」和「2017AIWORLD 世界人工智慧大會」。憑藉超高活動人氣及行業影響力，獲得 2017 年度活動行 「年度最具影響力主辦方」 獎項。

其中「2017AIWORLD 世界人工智慧大會」創人工智慧領域活動先河，參會人次超 5000；開場視頻在騰訊視頻點播量超 100 萬；新華網圖文直播超 1200 萬；

2018 年的 3 月 29 日，新智元再匯 AI 之力，共築產業躍遷之路。 在北京舉辦 2018 年中國 AI 開年盛典——2018 新智元 AI 技術峰會，本次峰會以 「產業 · 躍遷」 為主題，特邀諾貝爾獎評委 德國人工智慧研究中心創始人兼 CEO Wolfgang Wahlster 親臨現場與谷歌、微軟、亞馬遜、BAT、科大訊飛、京東和華為等企業重量級嘉賓，共同研討技術變革，助力領域融合發展。

新智元誠摯邀請關心人工智慧行業發展的各界人士 3 月 29 日親臨峰會現場，共同參與這一跨領域的思維碰撞。

關於大會，請關注新智元微信公眾號或訪問活動行頁面