擔心人工智慧會做壞事？科學家們正在研究解決這個問題

＊本文只能在《好奇心日報》發布，即使我們允許了也不許轉載＊

舊金山電 — 特斯拉首席執行官伊隆·馬斯克（Elon Musk）創辦了一間人工智慧實驗室 OpenAI。在這裡，機器們正在自學如何像人類一般行事。然而有時，它們也會出問題。

最近，有一天下午，研究人員達里奧·埃莫迪（Dario Amodei）坐在 OpenAI 舊金山辦公室里，展示了一款自動系統，它能夠自學如何玩賽船電子遊戲 Coast Runners，衝過終點線積分最高的小船即為勝者。

結果十分出人意料：電腦控制的小船對於屏幕上冒出的綠色小物塊特別感興趣。由於抓住這些小物塊就能得分，它開始瘋狂追逐小物塊贏取積分，把努力完成比賽放到了一邊。它無止境地繞圈、撞上其它小船、撞到石牆、一再著火。

埃莫迪燃燒的小船證明，正在迅速重塑科技世界的人工智慧技術存在著風險。研究人員正在製造基本上可以自學任務的機器。Google DeepMind 實驗室也正是基於這一原理，創造了能夠打敗世界頂尖圍棋選手的系統。但是，一來這些機器需要數小時的數據分析來實現自我訓練，二來他們有可能通過自我學習產生意外、不必要甚至有害的行為。

隨著這些技術逐漸開始進入在線服務、安全設備和機器人領域，這成為了一個值得注意的問題。現在，包括埃莫迪在內的一小群人工智慧研究人員正著手探究數學技術，防止最壞的情況發生。

埃莫迪和他的同事保羅·克里斯蒂亞諾（Paul Christiano）正在 OpenAI 開發演算法。利用這種演算法，機器不僅能夠通過數小時的試驗和錯誤學習任務，而且學習期間還能定期獲得人類教師的指導。

現在，研究人員可以通過一系列點擊告訴這套自動系統，在 Coast Runners 遊戲中，它既需要得分，也需要朝著終點前進。他們認為，這類混合了人類和機器指導的演算法將有助於確保自動系統的安全性。

多年來，馬斯克和其他權威人士、思想家、技術專家一直在警告我們，機器的運轉可能會超出我們的掌控，以某種方式習得它們的設計者預料之外的惡意行為。而在自動汽車系統甚至還會被辨認自行車道、辨認紅綠燈等最基本的任務難倒的現如今，這些警告看上去有時似乎被過分誇大了。

不過，埃莫迪等研究人員正努力防患於未然。從某些方面來說，這些科學家在做的事有點像家長教孩子辨別別對錯。

人工智慧領域許多專家認為，一種名為「強化學習」的技術可能會是開發人工智慧的主要途徑。利用強化學習技術，機器可以通過極端試驗與錯誤來學習特定的任務。研究人員指出，機器應該努力獲得一種特定的獎勵，並且按隨機線路完成任務時，機器應該密切留意能帶來獎勵和不能帶來獎勵的事物。在 OpenAI 訓練機器玩 Coast Runners 的案例中，獎勵就是更多積分。

這種電子遊戲訓練對現實世界意義重大。

研究人員認為，如果有機器能夠學會玩《俠盜獵車手》（Grand Theft Auto）這樣的賽車遊戲，那麼它就能學會駕駛真實的車輛。如果它能夠學會使用網頁瀏覽器和其他常見軟體應用程序，那麼它就能學會理解自然語言，甚至可能還可以學會進行交談。在 Google、加州大學伯克利分校（University of California, Berkeley）等地，機器人已經開始使用這一技術，學習撿拾物品、開門等簡單任務了。

埃莫迪和克里斯蒂亞諾之所以研發加入人類指導的加強學習演算法，也正是出於這一考慮。這可以確保系統不會偏離現有的任務。

最近，OpenAI 的兩位研究人員和總部位於倫敦的 Google DeepMind 實驗室其他研究人員一起發表了他們在這一領域的一些研究成果。這兩家實驗室都是世界頂尖的人工智慧實驗室，此前從未有過合作。他們首次共同研發的這些演算法被認為是人工智慧安全研究領域向前邁進的一大步。

「這證實了以前的很多猜想，」加州大學伯克利分校研究人員迪倫·哈德菲爾德-梅內爾（Dylan Hadfield-Menell）說，「這類演算法給未來五到十年帶來了許多希望。」

這個領域很小，但還在持續發展。OpenAI 和 DeepMind 都組建了專註研究人工智慧安全問題的團隊，Google 在美國的實驗室 Google Brain 也不例外。與此同時，加州大學伯克利分校和斯坦納福大學等大學的研究人員也在研究類似問題，他們通常都與大公司實驗室有合作。

還有一些研究人員在研究如何確保系統不會像 Coast Runners 的小船那樣自己出錯。他們也在研究如何確保黑客和其他犯罪分子無法利用這些系統中的隱藏漏洞。例如，Google 的伊恩·古德費洛（Ian Goodfellow）就正在研究黑客如何誤導人工智慧系統識別本不存在的事物。

現代計算機視覺的開發基礎，是一種名為「深度神經網路」的技術。這是一種模式識別系統，能夠通過分析大量數據學習任務。一個神經網路能夠通過分析成千上萬張小狗照片，學會辨認小狗。Facebook 辨識快照中人臉的功能、Google Photos 應用里即時搜索圖片的功能都是利用了同樣的原理。

但是，古德費洛和其他研究人員證明，黑客可以改變影像，令神經網路誤認為影像中包含了實際不存在的東西。比如，只要改變大象照片里的一些像素，黑客就能讓神經網路把大象誤認為是汽車。

當神經網路應用於安全攝像頭時，這就成為了一個問題。研究人員說，只要在你臉上做一些標記，你就能迷惑攝像頭，讓它誤認為你是別人。

「就算用一百萬張人類標上標籤的影像去訓練一個目標識別系統，你還是可以創造出人類和機器看法 100%不一樣的影像，」古德費洛說，「我們需要理解這一現象。」

另一個最令人擔心的問題在於，人工智慧系統未來可能會學會阻止人類關機。有這種想法的人認為，如果根據設計，機器要追求獎勵，那麼它可能會發現，只有在開機時才能獲得獎勵。這個經常被提到的威脅離我們還很遙遠，不過研究人員目前已經在著手研究解決辦法了。

近來，哈德菲爾德-梅內爾和加州大學伯克利分校其他研究人員發表了一篇論文，利用數學方法解決了這一問題。他們證明，如果機器被特別設計為不確定自己的獎勵功能時，它就會想辦法保持關機狀態。這可以激勵計算機接受甚至尋求人類監管。

大多數此類研究仍處在理論階段，但是考慮到人工智慧技術的迅速發展，以及它們在多個行業日益增長的重要性，研究人員認為，早些開始研究最好。

「人工智慧未來到底會以多快的速度發展，這個問題還存在許多不確定因素，」DeepMind 負責監管人工智慧安全研究的謝恩·列格（Shane Legg）說，「努力研究這些技術可能會被濫用的各種方法、可能會失效的各種方法以及解決這些問題的各種方法，這才是負責任的態度。」

翻譯 熊貓譯社 錢功毅

題圖來自Flickr

? 2017 THE NEW YORK TIMES