給車糊上這種貼紙，就能躲過監控了嗎？

02-09

編者按：最近，Google的研究人員發表了一篇論文，稱他們用幾張花花綠綠的小貼畫，成功騙過了AI——面對一根香蕉，圖像識別軟體就像產生了幻覺，非要堅持這就是一檯面包機。

讓AI大腦當機的方法你也許早有耳聞，比如問一個邏輯悖論、將圖片套上擾動濾鏡，可這種貼紙卻讓普通人也可以直接列印，簡單高效，而AI幾乎次次中槍。

調戲人工智慧變得越來越簡單了嗎？研究人員說，今日，這些我們試做玩笑的戲法，可能是危險的前奏，比如，你給你的愛車糊上這種貼紙上路......

威廉·吉布森2010年的小說《Zero History》中有這樣一幕場景：一名角色準備進行一項高風險的行動，書中稱其為「世界上最丑的T恤」——穿上這件衣服，他就能在監控攝像頭前隱身。

無獨有偶，尼爾·斯蒂芬孫的《雪崩》（Snow Crash）里也有向電腦發送光學點陣圖，干擾目標大腦，進而通過神經系統搗毀對方的思維的情節。諸如此類的故事還有很多，他們都提到了科幻中一個常見的橋段：

簡單的圖像，可以讓電腦崩潰。

欺詐圖像——AI：你是不是訛人？

今天，這個概念已經不是虛構了。去年，研究者們已經成功騙過了一套商業面部識別系統，僅僅戴上一副花邊眼鏡，就能讓面部識別AI失去判斷力。奧妙就在於眼鏡框上的圖案。

在我們看來，這些曲線和折線可能十分隨機，還挺有藝術感，但是對於電腦來說，這些圖形攪亂了機器識別人臉的重要特徵。

這些眼鏡還沒達到吉布森「世界最丑T恤」的高度，還不能從監控中刪去你的影像，但它能騙過AI。理論上，調整眼鏡上的花紋，你可以讓AI把你誤認成任何人——教皇、明星、總統，誰都可以。

▲ 上面是戴著眼鏡的測試者，下面是電腦識別出來的人臉（圖源：MahmoodSharif, Sruti Bhagavatula, Lujo Bauer, and Michael K. Reiter）

如果你在未來有志於調戲人工智慧視覺系統，除了眼鏡，貼紙也能派上用場。Google已經把欺詐圖像做成了小貼畫，免費下載，任君挑選。

上個月發布的一篇論文就提到了這種新發明，它的作用就是出現在攝像頭前面，把AI的識圖功能攪亂。你可以在單位，在家，在自己的秘密基地列印這些貼紙，不需要了解目標場景的光照條件，攝像機的角度，被攻擊的AI類型等等。

有它在，AI連最簡單的物品都分辨不出，比如把「香蕉」認成「烤麵包機」。它就像AI的LSD，迷幻劑，小小一張，就能把計算機騙得暈暈乎乎。

人們擔心，這些圖案用盡手段越過AI，會讓未來的安防系統，工廠機器人和無人車變得岌岌可危。想像一下，只要在高速公路邊放上一張貼紙，你的座駕就覺得該停車了；又或者在你的愛車上糊上貼紙，監控系統就成了瞎子。

要命的是，即使人類一眼就能看到這些偽裝，但他們並不覺得這些貼紙用心險惡，還以為是行為藝術……

還有更嚴重的，「假如在軍隊里，你的系統能自己識別瞄準對象，」傑夫·科倫，2015年一篇欺詐圖像論文的聯合作者對Verge記者說，「敵人把一張欺詐圖像放在醫院上，你就向醫院開火。或者你在用無人機追蹤敵人，肯定不想費半天勁，卻發現跟蹤了錯誤的目標。」

目前，這些想像還只是杞人憂天，上面提到的Google貼紙，尚且需要研究人員傾注數不清的精力和時間。但是如果我們沿著現在的道路發展下去，這些場景是完全可能的。

隨著時間飛逝，對抗AI的方法越來越靈活。我們今日視作玩物的貼紙，不過是一個開始。「這是大問題，」科倫說，「這是研究者們亟待解決的問題。」

▲來自研究論文中貼心奉上的貼紙圖樣，有興趣可以試下

為何會被騙——AI：防不勝防啊！

上述這些欺騙AI的例子都可被歸類為泛AI網路安全攻擊，學名「對抗機器學習」。科幻中常見的「令人隱身的醜陋T恤」和「令大腦當機的點陣圖」都可被視為一種欺詐圖像，而且它的形式多種多樣，音頻和文本都能成為載體。

早在2010年，很多研究團隊就發現了這一現象。欺詐攻擊通常以一種名為「分類程序」的系統為目標，這種系統能把數據分類，比如，在手機上用圖像分析把照片分為「食品」「假日」和「寵物」。

對於人類來說，欺詐圖片看起來和電視花屏差不多，但它卻能讓AI頗有自信地做出判斷：「沒錯，這肯定是一隻長臂猿！」或者「我天，這摩托車紅得真耀眼！」

遺憾的是，人們不知道AI通過哪些視覺特徵來判斷圖像，也不清楚為什麼特定的攻擊會騙過AI。一種解釋是，欺詐圖像利用了一種叫做「決策邊界」的東西，它是AI的常見特質，就像無形的規則一樣，束縛了AI的手腳。

如果有一個用於區分獅子和豹子的AI，隨著時間的積累，它會創建出區分對象的特徵資料庫。想像一張XY軸平面圖，右上角是它學到的所有豹子的樣貌，左下角是他見過的全部獅子的樣貌，劃分兩個領域的那條線，就被稱為決策邊界。

但決策邊界在分類方式上存在致命問題，它過於絕對和極端。科倫說，「你乾的事只不過是訓練他們在數據簇之間劃線，而不是在區別獅子和豹子的過程中深度建模。」

為了欺騙一個獅豹分析程序，你可以拿一張獅子的圖片，把它拉伸成極其詭異的樣子：爪子和挖土機那麼大，鬃毛像太陽一樣燃燒。人類絕對認不出來，但對於一個正在檢查決策邊界的AI來說，這仍是一隻「特別獅子的獅子」。

科倫指出，改善「決策邊界」的方法之一，就是使AI更傾向於「我不能識別這張圖」，而不是「我非要把這張圖分個類」。

▲ 一些欺詐圖像和AI眼裡的圖像（圖源：JeffClune, Jason Yosinski, Anh Nguyen），從左上到右下分別是衝鋒槍、聽診器、數字時鐘、足球、船槳、真空吸塵器、手風琴、起子。別說，只要摘下近視眼鏡看，還真有那麼點意思……

對抗欺詐的方法——AI：換個馬甲我也認識你

目前為止，欺詐圖像還沒有對現實世界造成過任何實質損害。但學界，尤其是谷歌，正在很嚴肅地對待這個問題。結論是，對於被騙得團團轉的AI，現在沒有特效藥。

但是，為了幫助AI抵抗欺詐，工程師開始讓它們接受「對抗性訓練」。

在這種訓練中，他們教AI識別並無視攻擊性圖像，就跟保鏢學會把黑名單上的人轟出大門一樣。不幸的是，一位寫了很多對抗性攻擊論文的賓大研究生解釋道，即使這種訓練，在面對 "計算密集型策略" （給系統識別足夠多的圖像，他總會失敗）時，也是不堪一擊。

抵禦欺詐圖像要面對雙重壓力：

第一，我們不確定如何抵禦現有攻擊；

第二，新的變體攻擊不斷湧現。

看完這篇文章，你會很快認出用於欺詐的眼鏡和貼紙，但還有更多更微妙的方法你根本看不見，比如「擾動（perturbation）」。

「擾動」是一種不改變人眼視覺的AI圖像欺騙方式，它對圖片的改動滲透於照片表面的像素中，像Instagram濾鏡一樣。最近一項名為「泛對抗性擾動（Universal Adversarial Perturbations）」的研究證明了這種「濾鏡」的可行性，它成功擾動了一大批神經網路，讓研究者們激動萬分。

▲ 左邊是原圖，中間是「擾動濾鏡」，在右邊是最終的成品圖像（圖源：Goodfellow,Jonathon Shlens, and Christian Szegedy）AI一開始認為圖片有57.7%的可能性是熊貓，經過擾動之後，它覺得這張圖絕對是長臂猿（熊貓辣么萌和長臂猿哪點像了？？？）

不過，目前想用欺詐圖像騙過AI還有所局限：

首先，攻擊者需要很長時間來製作特定的擾亂圖像，這個圖像要讓AI覺得這是特定圖像，而非某個隨機錯誤；

第二，攻擊者經常需要訪問目標系統的內部代碼才能產生擾動；

第三，攻擊並非次次有效。

「泛對抗性擾動」有90%的幾率能成功欺詐神經網路，但換成另一種AI，可能只有50%-60%的成功率。雖然對於無人駕駛車來說，50%的錯誤率也是一場災難。但令人欣慰的是，黑掉一輛無人車有很多方法，「擾動」的複雜度，可能麻煩到沒人想去實踐。

▲ 一些被「擾動」過的圖像（圖源：Seyed-MohsenMoosavi-Dezfooli, Alhussein Fawzi, Omar Fawzi, Pascal Frossard），下面是AI識別的結果：兩張亞洲象、兩張非洲灰鸚鵡、蠑螈、旋轉木馬（也不是……那麼難以理解吧……硬要聯想的話）

同時，對AI的攻擊也引發了更深層的思考。一樣的欺詐圖像可以騙過Google, Mobileye和Facebook的人工智慧，這揭露了當代AI的整體弱點。

「這就像一群AI齊聚一堂，批判愚蠢的人類為啥意識不到這團數據是一隻海星。」科倫說，「所有人工智慧網路都認為：這些癲狂而不自然的圖像是同一類東西。這種趨同性讓人震驚。」

我們碳基生物也別光顧著看熱鬧，關於欺詐圖像的研究表明，AI和自然生物的智慧其實如出一轍。

科倫的同事傑森指出，AI犯下的決策邊界分類錯誤同樣存在於動物學界中。動物也會被人造的「超常刺激（supernormal stimuli）」所欺騙，甚至凌駕於自然本能：

20世紀50年代，在一次實驗中，研究者利用這一刺激讓鳥兒無視自己產下的蛋，轉而照顧顏色鮮艷的假蛋，或者讓紅腹棘魚誤以為垃圾是敵人，誘其發起攻擊。只要垃圾上畫著一個紅肚皮，棘魚就會攻擊。

有人認為，我們人類自己的一些嗜好，比如快餐和色情，也屬於超常刺激。

你可以說，今天這些AI犯的錯誤都很傻，但別忘了，我們自己也會被騙。而且，在通向未來的漫漫旅途中，我們需要它們做得更好。

?? | 關鍵詞 | #AI##欺詐圖像#

?? | 責編 | 船長

?? | 編譯 | 蒸汽黎明、小K

?? | 作者 | 詹姆斯·文森特，The Verge網站記者。