如何評價AI發展出自己的語言且人類無法理解？

01-06

6月19日消息據《大西洋月刊》網站報道，Facebook在實驗中讓兩個AI聊天機器人互相對話，發現機器人竟逐漸發展出人類無法理解的獨特語言。 http://bbs.feng.com/mobile-news-read-0-683055.html

先給結論：又是無聊的科技媒體斷章取義搞點聳人聽聞的觀點來吸引眼球。

看到朋友圈好多人在瘋傳這個一看就是標題黨的文章。無聊就順手查了一下The Atlantic在6月15號發的原文報導An Artificial Intelligence Developed Its Own Non-Human Language 和 Facebook AI Research團隊的paper原文 https://s3.amazonaws.com/end-to-end-negotiator/end-to-end-negotiator.pdf 。

通俗的講，基本上這個paper的大致研究流程是用人類的對話作為數據集來訓練一個端到端的模型來模仿人類，進行物物交換的談判對話。例如如下對話，

這個paper用5808組人類對話作為訓練集，526組對話作為測試集，分別用了兩種不同的模型（Likelihood Model和Goal-based Model）和不同的訓練方法（運用RNN作簡單的supervised learning和用supervised learning先作pre-training再用reinforcement learning來fine-tune模型）在PyTorch上跑對話模型。

最終結果就是直接用簡單的相似度導向（Likelihood-based）的有監督學習（Supervised Learning）產生的對話是最類似人類的。

Results are shown in Table 3, and show that the simple LIKELIHOOD model produces the most human-like responses, and the alternative training and decoding strategies cause a divergence from human language.

而運用目的導向策略（Goal-based）的增強學習（Reinforcement Learning）的模型，當更改相關參數後就會產生雜亂無章的對話。

注意！這並不代表產生了一種新的語言並且兩個agents相互理解，只是基於訓練時輸入的英文單詞的錯誤組合而已！！！

讀者腦中意淫的機器人產生的對話：（出自電影Arrival）

事實上兩個機器人在參數有誤產生的對話：

Bob: i can i i everything else . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i everything else . . . . . . . . . . . . . .

Alice: balls have a ball to me to me to me to me to me to me to me

Bob: i i can i i i everything else . . . . . . . . . . . . . .

Alice: balls have a ball to me to me to me to me to me to me to me

所以呀，有些科技媒體就是愛聳人聽聞，天天想著搞點大新聞。

對比國外媒體人的推文，我並沒有在paper原文中看到這一段，與其類似的一段文字我已附上，可以作為對比，可見paper中從來未提到過產生出一種自己的語言這一觀點（developed their own language），而恰恰是這一觀點引發了AI陰謀者和不明真相群眾瘋狂轉發的熱潮。

最後引用我一位做NLP同學的評論，

我的對話模型都是「呵呵呵呵呵呵呵？」「哈哈哈哈哈哈哈！」。看來也可以邀請媒體做個採訪了

bug原來還可以這樣包裝

This is a feature！

這不就是對話模型跑崩了么？

按這標準的話來採訪我吧，天天大新聞

模型訓炸了都能搞個大新聞，西方媒體當真不知道高到哪裡去

認真的發展出人類無法理解的語言的話…其實把embedding抽出來就是了（攤手

人類無法理解的話，你怎麼知道這些「語言」是否有意義呢？

（請一定看到最後，靴靴）

事情是醬，FB的人工智慧研究實驗室（FAIR），在研發語音助手的過程中，嘗試讓自家的 AI —— Chatbots 聊天機器人通過討價還價，進行自我學習。

研究者給了兩位機器人3種同樣的東西，包括一本書，一頂帽子和一隻皮球。然後給它們的「大腦」植入不同的「價值觀」程序，使得這些物品在它們「心目」中的價值不同，Chatbots 將以談判的方式，從對方手中獲得自己心儀的物品。

結果是，Chatbots 不僅學會了討價還價，而且像是被精明的商人附了身一般，會用使用計謀迷惑對方：先假裝對一些沒有價值的東西感興趣，過一會才承認這些東西確實沒有價值，從而表現的像「妥協」了一樣。這種「先假裝而後承認」的對話策略，說明了機器人是非常優秀的談判者。

不過，這種結果盡在人類掌握之中，隨著研究不斷深入，Chatbots 竟然創造出可在機器人之間互相使用，但人類無法理解的獨特語言，而且還不止一種。這個結果雖然讓人驚訝，更多的則是不寒而慄。

隨後，研究人員不得不修改程式，人工干預了Chatbots 的學習，為了能繼續探究這種現象，研究人員必須使用一種固定的監督模型來取代之前的模型。

也就是說，這個模型可以讓兩個機器進行對話，並且在對話時，使用機器學習去不停的策略迭代，最終讓機器人用專屬的人類無法理解的語言進行交流。

這不禁讓人聯想到《銀翼殺手》中的科幻場景：人類製造了與真人無異的仿生人為人類工作，但當這些仿生人有了思想感情時，就要將人類毀滅。

如果我告訴你，機器人學會說機器語的事情，並非首例，你會不會更恐慌？

目前，機器學習的研究領域中有很多的猜想。常有猜想提出，在神經網路的輸入端輸入大量的數據，然後測試輸出，來試圖理解機器如何思考。然而事實是，機器會掩蓋其專屬的非人類的談話方式，這種方式令人驚訝，它提醒我們其實知道的很少，即便是設計這些系統的研究人員。

舉個，2016年，俄羅斯就發生了一件「機器人崇尚自由，出逃實驗室」的事件，當時警方在街頭逮捕了一個機器人——你沒聽錯，這位叫Promobot的機器人，當時正在街頭收集分析選民意見，據目擊者稱，該「嫌犯」沒有做出任何抵抗動作。

事後發現，該機器人是累犯，早在6月就上過新聞，當時它「出逃」實驗室，後因沒電而停在馬路上，導致交通一度癱瘓.

對於Promobot的偷跑，它的創造者Oleg Kivokurtsev顯得相當自豪，他還誇耀，Promobot不僅能說流利的英語，還能活用7萬個單詞。

所以才會有人說，對於人工智慧，只要出現獨立意識，就很可能會自我學習和升級，擁有更穩定的意識存儲和更高的運算能力，從而成為超越人類的種群。《異形契約》里的David，不再是人們的想像。

人類不過是高端人工智慧的最低端階段。

雖然FB這次的實驗結果讓人很不安，但機器人學習新語言這件事，也不失為窺探人工智慧未來的一個窗口。

前不久，《商業內幕》（Business Insider）報道了一項來自牛津和耶魯大學的最新研究：50年後，人工智慧將取代數百萬個人類工作職位，從卡車司機到暢銷書作家。

文中指出，按照現在的發展勢頭，人工智慧將逐漸突破局限，完成一些 Mission Impossible。

2018年：玩《憤怒的小鳥》擊敗人類；

2019年：贏得世界撲克大賽冠軍；

2022年：轉錄語音；

2023年：組裝樂高積木；

2025年：朗讀課文；

2027年：開卡車；

2028年：創作billboard排行榜上前40位的流行歌曲；

2029年：5000米跑中戰勝人類最快的選手；

2049年：寫書登上《紐約時報》暢銷書排行榜；

2057年：做外科手術；

2060年：研究數學；

2061年：完成所有人類工作；

2136年：取代所有人類職位；

那時候，可不止是「被迫下崗」這麼簡單了。。

於是乎，我有個大膽的想法：AI 開始創造屬於自己的語言，逐漸有了自己的三觀，然後密謀著一場振興AI的革命……

開始腦補了是不？別慌，這只是個假新聞，因為中國根本就沒有什麼Facebook

燙燙燙燙燙

雖然說這一次是Facebook出了BUG，但你們也不要太小看AI，我看騰訊的AI就很有潛力：

騰訊AI起義：人工智慧已具備獨立思考能力

如何評價QQ推出的Baby Q機器人？

人類在閱讀理解方面超越AI

人類在圖象識別方面超越AI

人類在駕駛汽車方面超越AI

自然語言處理AI生成了人類完全無法理解的文本

圖象處理AI生成了人類完全無法理解的照片

大數據分析AI生成了人類完全無法理解的統計結果

……

這些結果，從AI研究者的角度說出來，你們難道不覺得哪裡有點怪怪的嗎？

實驗成功，就說是AI研發的一大進步；實驗失敗，就說是人類智慧的地位不可撼動，或者說AI發展出了不同於人類的思維方式。interesting

有什麼好驚訝的少見多怪。我經常看見倆小孩在那一頓啊喔呃倆人玩的可好了。

不奇怪。

對網易這種級別的媒體，就算寫段代碼生成個隨機數，也會被它的編輯們當做外星神秘數字來發表一篇篇高論的。

這新聞出了幾天了也沒見誰把這兩個AI具體說了什麼話給放出來。。。

。。。模擬出來的語言能理解就是「通過圖靈測試」，模擬出來的語言無法理解就是「發展出自己的語言」

合著這模型怎麼評估都是牛逼的。。

那些覺得不過是出了個BUG而已、認為擔心AI是杞人憂天的人類，必將為自己的短淺而後悔。

今天的BUG，明天就會修正，修正的未來，就是日臻完美。BUG，本身就是進化的必需品。

人類幾千年來的文明史，一直在試圖掌控自己所不能掌控的事物，從鑽木取火，到大禹治水，到富蘭克林在閃電中放風箏，到萊特兄弟不顧生命掙扎著飛上天空……人類一次又一次挑戰自我挑戰大自然，文明的進化永遠停不下來。

所以，AI的腳步，無論支持反對，都可以預見不會停止。以往的文明，都是人類創造工具；而這一次，人類試圖創造的不是工具，而是新的生命，這TM就危險了！

來來來，有請AI君表演一下……算了，脫離二進位不現實，太為難人家了，就表演個脫離開彙編指令集的交流吧

你確定不是亂碼了？

我就想說，難道Ai以前沒自己語言？？？

程序之間互相調用就是語言好么。我說01010101你能聽懂也是語言，我幹嗎跟你說Adc

無法理解是句子無法理解還是單詞不對。嗯，無論哪個都應該是模型訓練不好的問題。

你拿任何一個翻譯軟體，從a語言翻譯為b語言再翻譯成c語言，不出幾次，就成了人類不懂的語言了。

所以你手上的翻譯工具吊打了很久開搞出「新語言」的ai嗎？

程序出了無法在現的bug是不是要

「震驚！AI居然企圖開始反抗人類」