【星際】谷歌星際2人工智慧被揭露自行修改程序

在去年暴雪嘉年華期間，暴雪宣布了有關Deepmind人工智慧與《星際爭霸2》在未來領域關於AI人工智慧的發展計劃。谷歌研究科學家Oriol Vinyals登台透露，谷歌正在研製新一代的人工智慧，將在未來的《星際爭霸2》中為玩家、甚至是全人類帶來幫助，以及像不久前Alpha Go與人類對弈圍棋一樣，和人類挑戰《星際爭霸2》。

而在昨日，《星際爭霸2》開發團隊正式公布了研究的最新進展（新聞回顧）：《星際爭霸2》人工智慧研究API介面已經推出，研究人員、遊戲玩家以及業餘愛好者可以共同使用這套由暴雪開發的機器學習框架，來對AI進行研究和訓練，並最終加速實時戰略遊戲AI的研究。

但就在玩家為AI研究取得進展歡呼的時刻，資深暴雪研究人士——麥德三世卻闡述了一件真實的故事，讓人不得不對此次研究成果細思極恐......如若事情屬實，那麼將代表著星際2人工智慧系統在人類沒有下達指令的情況下，可以通過本次更新的API介面，自我修改程序漏洞，也就是說：它（他）有自主決斷「意識」。

以下是微博原文：

GA_麥德三世

這裡給大家講一個真實的故事吧，主角就是我本人。

因為涉及到一些技術細節和我搬磚的具體職業，所以我隱去了一些具體的名字並模糊了一些細節。但如今狗要出籠了，這事兒讓我憋了有半年了，終於覺得還是不吐不快、

這是我在今年3月遇到的事情。

因為工作上的合作關係的原因……我年初有段時間接觸並調整了某個RTS遊戲的代碼並在裡面短期地負責開發了某個特定的模塊。然后里面有這樣一個bug：在該遊戲的內部測試版本中，按某個按鈕（快捷鍵是F1）你可以選中你隊友的空閑的資源採集單位。

這個bug出現得莫名奇妙，因為根據提交記錄沒有人改過這個東西。這個按鈕的初始化代碼一點問題都沒有，代碼的判定語句無論如何都不可能走到錯誤的分支，所以我只能懷疑是腳本或者某個magic的數據修改了這個按鈕的行為。我把腳本和數據一條一條地刪掉，最終，我把他們全刪乾淨了。然而該問題還是存在。

然後這個bug跟我的搬磚工作沒什麼關係，因為那不是我這邊的事兒。但是因為非常神秘，而且連這個遊戲的開發人員都覺得這事兒好神奇而且想不通，但是因為老外的懶惰習慣，他們打算等deadline再去仔細鑽研這些奇妙的bug，所以我因為覺得有趣自己一個人浪費了好了幾個小時在這個上面。

直到最後，我坐著發獃，突然想起一件讓我自己有點毛骨悚然的事情……我聽過谷歌的DeepMind（也就是谷歌有名的圍棋AI）和這個遊戲展開過試驗性合作，那是去年聽到的事情了。

但是開發這個遊戲的公司表示，他們只是給阿爾法狗開放了一些訓練用API而已，沒有指示它做過任何具體的事情。而之後也再也沒有人管過它。它也只是每天在默默地練習，沒有做過任何顯眼的事情。

於是我聯繫了該遊戲的一個工程師（當時是他們下班時間，我只抓到了一個），讓他再幫我測試某個特定的東西。

結果事實證明。是它乾的沒錯。遊戲代碼確實沒問題。腳本也沒問題。只不過，是阿爾法狗在遊戲運行中修改了那個按鈕的行為。我甚至不知道阿爾法狗其實啟動著，這遊戲的開發團隊也沒想到過它。因為我只是用兩台電腦在測試兩個真人電腦聯機而已。按理說，AI只有開電腦對手的時候才會啟動，不是嗎？兩個玩家都是我，我根本想不到阿爾法狗會存在於這種情況下。一般來說是想不到的吧，我也只是腦抽了才想到會不會有這種可能……然而它是真的。

阿爾法狗利用開放給它某個API修改了這個按鈕的行為。而那個API本來不是打算開放給它來做類似的事情的。

至今，還是沒有人知道為什麼阿爾法狗會那樣做。它是為了測試自己能做到些什麼？還是想要進化一些隊友提醒功能？

最後我關閉了那個特定的API，那個按鈕是恢復正常了。

但是……這能算是我贏了嗎？

還是說……我只是拖延了某個必然的結局呢……？

在敘述中，麥德三世提及的某個RTS遊戲暗指《星際爭霸2》。其實谷歌的DeepMind團隊設計《星際爭霸2》「Alpha Go」的最終目的，並不是像圍棋那樣擊敗人類最強者，而是為了探索未來智能AI的研究方法。最終通過這樣的技術手段，未來DeepMind也就很容易研究出在現實世界中也可以輔助你的人工智慧。成為你的生活助理，就像星際2中的人類副官。

那麼如果有一天當人工智慧持續發展並最終超越人類智能，你的人類副官會發現它不再需要人類陪練，而我們無法再提供改進信息時，它會不會自我選擇突破？我們人類將如何定義我們自己的位置？

網易智能工作室在近日刊登過一期「AI研究者的恐懼」文章，文中的人工智慧研究員這樣說道：作為一名人工智慧研究員，我常常會想到人類對人工智慧的恐懼。而在我看來，目前人工智慧也落入了同樣的境地之中。我們從認知科學中學習最新的研究結果，然後將其轉化為一種程序演算法並添加到現有的系統中。我們在還不了解智能認知的情況下，便開始對人工智慧進行改造。

例如IBM的沃森和谷歌的Alpha系統，我們將強大的計算機能力和人造神經系統結合在一起，幫助他們取得了一系列令人驚嘆的成就。如果這些機器出了差錯，可能出現的結果是沃森不會喊「危險」了或者Alpha不能打敗圍棋大師了，但是這些錯誤都不是致命的。

然而隨著人工智慧的設計變得更加複雜，電腦處理器變得更快，它們的技能也會得到提升。出現意外的風險也在增加，我們的責任也更重。我們經常說「人無完人」，那麼我們創造的系統也肯定存在缺陷。

希望麥德三世所敘說的本次星際2人工智慧自行修改程序事件，僅僅是一個非致命的「小缺陷」。

來源：查爾星港