Facebook謀殺「失控」機器人？一個常見bug引發的恐慌鬧劇

大數據文摘作品，轉載要求見文末

作者 | 錢天培、魏子敏、Aileen、加號

一個小bug也能佔據各大科技媒體頭條？想顛覆人類？至少現在，機器人還差得遠呢。

還記得文摘之前報道的會討價還價、還能使詐的機器人嗎？近日，當兩個砍價機器人的聊天訓練最終演變為胡言亂語後，Facebook決定暫停整改這個項目。

這本來只是一個AI項目研發中，因為「獎勵」不明確出現的再正常不過的bug，被整改也是因為訓練結果背離了開發者的期望。然而，這個小事故卻被鋪天蓋地的媒體報道過度解讀成了一段堪比「終結者」的機器失控，以及人類為了自我解救展開的「屠殺」。Elon Musk和小扎剛就AI悲觀論幹完一架，這件小事也就順勢引起了一眾吃瓜群眾的恐慌。

倫敦帝國學院教授、DeepMind高級研究科學家Murray Shanahan的評論也許可以總結這個荒謬的局面：臉書這個實驗性代碼出了個有趣的小故障，結果就被不負責任的媒體盯上了。

讓我們先來回顧一下事件不斷發酵的過程：

6月中旬，Facebook人工智慧研究所（FAIR）的研究人員發布了一篇論文，介紹了他們研發的機器人具有的新功能 ：談判能力。有趣的是，機器人有時會假裝對無價值項目感興趣，只有通過放棄它才能「妥協」 ——這是人們經常使用的有效談判策略。（點擊查看大數據文摘相關文章《Facebook最新研究：我們訓練機器人討價還價，沒想到AI還自己學會了「使詐」（附論文）》）

之後，Facebook 人工智慧研究所（FAIR）繼續用機器學習對兩個聊天機器人進行對話策略升級，結果發現它們自行發展出了人類無法理解的獨特語言。

一批頗具知名度的海外科技媒體首先報道了此次事故：「Facebook引發廣泛爭議的智能對話機器人項目發明了人類無法理解的語言。」

6月20日，《大西洋月刊》公布了Facebook研發的AI機器人Bob和Alice的一段「對話」記錄，並稱「機器人創造了人類無法理解的語言」，引起了大批恐慌。

幾天前，Facebook 的研究院宣布暫停整改這一項目，根據某家海外媒體的說法，原因是「擔心可能會對這些AI失去控制」。這本來只是作者一句略帶黑色幽默的玩笑，卻在昨天幾乎佔據了各大科技媒體頭版，引發了一波三折的」失控「大戲。

不少媒體順勢接道：「我們是不是創造出了AI妖怪？」

這話再傳下去，說辭就變成了：「這就是人類屈從AI的後果！如果這樣的病毒傳染到了軍事機器人上，那結果將會是致命的。」

當然，也有些「辯證」的文章，為「發明新語言」的這兩位機器人先驅辯護。

「讓機器人發明自己的語言也是好事啊。這樣一來我們就不用花那麼多精力搭建那麼多API了，讓機器們自行完成溝通豈不妙哉！」

這場小事故簡直要發展成為了「機器人因先驅發明語言而壯烈犧牲 vs AI大惡魔即將降臨」的科幻腦洞辯論賽。

那麼，這場鬧劇的背後究竟發生了什麼——Facebook的機器人是否真的學會了新語言？他們的研究出了什麼問題？而Facebook又是為什麼叫停了這一項目呢？

在跟風恐慌之前，讓我們先搞清楚下邊這幾個問題：

問題1：機器人是否發明了新語言？他們真的在通過這些人類看不懂的語言密謀嗎？

讓我們先來回顧一下案發現場。這是兩位機器人在討論一批物品分配時產生的對話。

Bob: I can i i everything else

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i everything else

Alice: balls have a ball to me to me to me to me to me to me to me to me

很明顯，這段對話仍然是基於基本的英語辭彙發生的，但連起來讀就讀不懂了。這段對話究竟有什麼含義呢？

Facebook的研究者指出，他們確實在認真地討價還價，這些無比「智障」的語言絕不是在密謀搞事情。

「i」和「to me」的不斷重複其實是它倆在商討各自應該拿到幾件物品。比如Bob說的「I can i i everything else」 可能的含義是，「I』ll have two and you have everything else.」

那麼，為什麼機器人在與人類對話的時候還能好好說話，到了兩個機器人對話的場景下就開始犯二了呢？

問題2：為什麼會出現這樣的「胡言亂語」？

正如我們在前一問中分析的，機器人看似荒誕的對話其實有些類似於人類群體內因默契達成的暗號。之所以這個機器人暗號看起來「蠢蠢的」，是因為Facebook科研團隊在開發前期沒有為機器人設置正確的「獎勵」，鼓勵他們說人話。

這兩隻AI機器人在相互對話訓練中意識到，在當前場景下它們並不需要用到英語這樣複雜的語言，除非使用這樣的語言能夠為他們帶來足夠的「獎勵」。他們的目標就是達成一個令雙方滿意的談判結果，而使用什麼樣的語言對它們來說並不重要。

說白了，這就是一個bug，一個error。

這樣的錯誤在語言模型初學者的嘗試中十分常見，只不過這次出現在了Facebook這樣技術背景雄厚的公司上，這一錯誤就被想像成了機器人的「早慧」。

那為什麼會出現「to me」和「i」的大量重複，而不是其他辭彙的重複呢？

文摘通過採訪了解到，這也是語言模型本身的特性決定的。在這一概率模型下，如果沒有合適的「獎勵」引導，機器人會選擇更常用的辭彙，來降低犯錯的風險。顯然，「to me」和「i」在英語中出現的頻率是相當高的。

此外，這些辭彙的重複出現也體現了該模型的另一特徵——Facebook此次模型用到的RNN（Recurrent Neural Networks）使得語言的生成受上下文的影響，機器人不斷重複「to me」和「i」就是繞進了一個循環。

問題3：Facebook是否因恐慌AI過度智能而「謀殺」了這個機器人？

很顯然，答案是否定的。

Facebook此次整改這一項目正是因為他們意識到了我們在上一問題中解釋的bug。

「我們的目標是設計出可以和人類進行對話的砍價機器人，而不是僅僅能夠和自身對話的機器人。」Facebook的研究者Mike Lewis這樣說道。

另外，Facebook也並沒有叫停這一項目。他們只是去重新訓練機器人了，讓機器人的對話更符合英語文法。

「因害怕AI發明出新語言而『謀殺』自家發明的機器人」實在是無稽之談。

上周文摘推送過一篇NYU教授寫給AI新聞記者的信，提出了媒體報道AI時常出現的問題和建議，也許在這個時候格外的應景和實用（點擊查看大數據文摘相關文章《NYU教授給寫AI新聞的記者們寫了一封推心置腹的信，你也應該讀讀》）。

在AI未來發展上，小扎和Elon musk吵得不可開交，孰是孰非或許我們現在還無從分曉。AI可能帶來的危險我們當然應該警惕。然而，面對當前的AI發展成果，比起吸引眼球和以訛傳訛，我們還是該更實事求是一些。

推薦閱讀：