AI技術被黑客利用？

有人的地方就有江湖，有江湖勢必有善惡有是廝殺。網上看了很多人工智慧超越人類的問題，我總覺得這個想的太早了。我更關心的是，有電腦時黑客研發了計算機病毒，或利用漏洞進行滲透攻擊。

那麼，人工智慧呢?家庭服務性AI被黑客植入相應的「AI技術的惡意指令」病毒，從服務型機器人變為攻擊類機器人的可能性是多少呢?

未來白帽子與黑帽子，又或者灰帽子在AI領域的鬥智斗勇又會有哪些別開生面或者驚魂動魄的歷程?

---

今天我想討論的，是另一種更實際的恐懼：人工智慧本身會存在安全問題嗎？

2017年，百度李廠長把無人車搞到五環路上，還因為違反交規收到了罰單。雖然後來證明「實線並道」「不打轉向燈」這種神操作，都是人類駕駛員的行為，但還是讓很多吃瓜群眾感覺有點驚險。

未來人工智慧可是要幫我開車、幫我治病的啊，如果被黑客入侵做出什麼「傻事」，後果還是挺嚴重的。隨便開個腦洞：

• 如果自動駕駛的「大腦」被入侵，在四環路上就會瞬間多出一千匹「野馬」，帶著其中的乘客上演《速激8》的戲碼。

• 如果自動手術的「機器醫生」程序錯亂，本來準備開一厘米的微創，結果做成了一米長的開膛。。。

這種情況究竟會不會發生呢？

一、天生安全的工具存在嗎？

按照我的套路，要回答人工智慧是否安全，得先定義一下它的屬性：

無論是有人車還是無人車，它們本質上和鎚子、打火機一樣，都是「工具」。因為我們對世界的理解是漸進的，所以工具的安全性也是漸進提高的。隨著它的「利」慢慢大於「弊」，這種工具也會漸進式普及。

舉幾個例子吧：

1、美國在1910年頒布法律禁止酒駕；1968年才頒布法律強制司機系安全帶。在汽車普及過程中，經歷了一百年事故頻發生率緩慢下降的階段。今天才算是到了90分。

2、作為世界公認最偉大的工具，互聯網也經歷了十年安全性極低的階段。在網路大面積普及的2000年前後，出現了紅色代碼、震蕩波、熊貓燒香等等一系列病毒。一個病毒只需要十幾小時就能佔領全世界的電腦，比1942年的蝗災可怕多了。經過這麼多年發展，如今的網路安全水平，大概也到了80分。

3、人工智慧免不了也會面臨一樣的命運。歷史不會重演，但會押韻。與其祈禱人工智慧的完美，還不如腳踏實地去研究怎麼把它變得安全。

說到這，就得讓今天的主角，互聯網巨頭百度登場了。兩年前就「重倉」人工智慧的百度，已經在這個賽道上領跑了。世界還是挺公平的：跑得快的人，就會先遇到坑。所以，百度在「人工智慧安全」上也積累了不少經驗。

李彥宏乘坐自動駕駛汽車，走在北京五環路上。

不久前，我見到了百度安全事業部總經理馬傑和百度安全產品部總經理韓祖利，和他們聊過之後，我相信有兩件事會發生：

1、下一個大規模普及的人工智慧產品，可能來自百度；

2、有了大規模的用戶，才會讓問題暴露並引起廣泛關注。所以第一個遇到並著手解決人工智慧安全問題的，也可能是百度。

那麼，目之所及，人工智慧會面臨哪些具體的風險呢？

二、人工智慧有哪些安全問題？

韓祖利把人工智慧面臨的問題，分成了五大類。

1、感測器欺騙

2017年的極棒黑客大賽上，來自百度安全實驗室的小灰灰用A4紙列印的人臉就騙過了人臉解鎖裝置；同樣的 A4 紙，列印之後也可以用於破解虹膜識別；還是 A4 紙，竟然也可以破解「指靜脈識別」這種被用於社保系統的「高安全等級」技術。

人臉識別、虹膜識別、指紋識別、指靜脈識別，其實都是基於人工智慧的一個重要分支：圖像識別技術。

小灰灰告訴我：「這些每個人都會用到的身份識別技術，原理都是通過感測器採集信息，然後進入演算法。這樣，只要知道這些感測器需要「看見」什麼，我們就偽造一個給它看。就能輕鬆欺騙騙過它了。」

這也是韓祖利眼中人工智慧面臨的第一個問題：「感測器欺騙」。

單純的一種驗證方式，比如僅僅人臉識別，或僅僅虹膜識別，都存在繞過的技術，所以業內目前的解決方案是「多因子認證」，就是同時採用兩種或兩種以上的認證方式。同時欺騙兩種認證方式，難度就變得大多了。

他說。

2、軟體缺陷

大名鼎鼎的 TensorFlow，是谷歌推出的機器學習系統，人人都可以利用這個平台開發自己的人工智慧應用。

但是，假設這個架構本身就存在漏洞呢？

韓祖利說：「Tensor有 887 萬行代碼，不僅如此，要運行 Tensor，還需要調用約 100 個依賴庫，其中很多庫都是很多年前的「老古董」。這麼多代碼已經超出了人工審計的工作量，其中一定存在漏洞。」

看看上面這張圖，就是各大人工智慧平台的漏洞表。不用假設，他們就是有漏洞的。

對於這種漏洞，似乎沒有好的方法，就是不斷認真審計、查找問題。安全研究員的職責即是在此，至少百度在自家的 Paddle Paddle 人工智慧平台上是這麼做的。

3、數據投毒

說到數據投毒，是AI攻防里最驚心動魄的部分。也是最接近人們想像的一種。

加州大學伯克利分校的著名人工智慧專家 Down Song 算是一個「城會玩」的代表。她在一個寫著「STOP」的標牌上，粘貼了幾塊膠條。人類看起來這根本沒什麼，但是在自動駕駛的人工智慧看來，這就是一個時速45公里的限速牌。

這些人類看來無關緊要的干擾，卻能騙過機器識別，汽車無法識別停止標誌，後果將不堪設想。

想像一下，如果你的自動駕駛汽車遇到了這樣的標牌，一定會毫不猶豫地衝過去，讓你體驗從急救車到醫院搶救的全套流程。

韓祖利說，這就是標準的「對抗數據」。

同樣的玩法還有很多，比如日本的一個團隊，在每張圖片里加上一個像素，就能讓人工智慧識別產生翻天覆地的錯誤，直接指鹿為馬。（順便說下，他們搞定的是技術很強的 Face++ 系統。）

再比如，如果你欠朋友二十萬不打算還，就得去做個整容。但是如果想讓人臉識別不認識你，只需要這個特殊的發光眼鏡。戴上之後，就會被系統認作另外一個人。

人工智慧雖然被叫做人工智慧，但其實目前的技術根本達不到人類這種完備的知識體系，所以很多在人看來很 Low 的欺騙方法，就可以輕鬆「撂倒」它。

剛才說的，是對抗已經「成年」的人工智慧。還有人做得更絕，在人工智慧接受數據訓練的時候，就直接把「帶毒」的數據混進去，這樣訓練出來的人工智慧就帶有天然缺陷。

這就是「數據集投毒」了。

畢竟，現在的人工智慧就像一個小孩子，小孩子往往是很好騙的。

說到數據投毒，我就想到了蛇精用毒藥水養葫蘆，出來的七娃就是這個效果↓↓↓

4、系統安全

人工智慧系統是要跑在操作系統之上的。而這些操作系統每年都會被「白帽子」找到大量漏洞，打上一串兒補丁。前一階段爆發的 WannaCry 病毒，沒打補丁的電腦就遭殃了。

尤其對於很多攜帶智能功能的硬體來說，如果操作系統有漏洞不及時補上，就很可能被黑客控制。

5、網路安全

和系統安全類似，網路安全也並不是人工智慧面對的獨特威脅。只要有數據在網路上傳輸，就存在被黑客截取數據的可能。

你可能感覺到了，要想搞掉某個人工智慧，有很多角度和姿勢。其實，所有的安全都是這樣：防守的人要守住城牆的每一寸磚，而進攻者只要找到一個點突破就大功告成。這是典型的內線作戰和外線作戰的區別。不幸，人工智慧由於處在進化的頂端，不僅別人面臨的威脅它一樣不少，除此之外還面臨獨有的威脅。

三、百度的人工智慧會被攻擊嗎？

說了那麼多種進攻人工智慧的方法，但大多數情況下，這些攻擊都不會真實發生。黑客攻擊某個系統，還要有一項基本要素，那就是——動機。在現在這個時代，做壞事的動機一般是錢。

我一直在強調平衡點的概念。這裡就是一個例子：當某個產品的用戶規模達到一定量級，越過平衡點，在攻擊者眼中就具有了價值。所以，百度要重點防禦的，就是那些已經或即將有很多用戶的產品。

我覺得百度目前跑在最前面的人工智慧產品有兩個，分別是「DuerOS 人工智慧操作系統」和「Apollo 無人駕駛系統」。果不其然，百度安全事業部總經理馬傑在這兩個產品上投入的注意力也很多。

1、先來說說 DuerOS

DuerOS 是嵌入各種智能硬體中的人工智慧操作系統。比如渡鴉音箱、Fill耳機，裡面都內嵌了 DuerOS。

一般情況下，像智能空氣凈化器、智能音箱、看家機器人這類東西，都會附帶很多感測器，例如聲音收集、視頻採集，而且一般擺在客廳甚至卧室。如果他們被黑客控制，上傳一點聲音、視頻，確實讓人很羞憤。。。

但要防止這些事情發生，只保證 DuerOS 本身的安全性遠遠不夠。

DuerOS 已經有四位數的合作夥伴，但是這些硬體往往是合作夥伴生產的。原則上來說，百度只是人工智慧系統提供商，無法控制合作夥伴的硬體安全或者操作系統安全。

但任何設備出現問題，傷害的都是百度的品牌。所以，我們要儘力幫合作夥伴把其他安全方面也做好。

馬傑說。

為了不當背鍋俠，他們是怎麼做的呢？

組團打怪的人都知道，要解決自己搞不定的事情，一般需要「聯盟」。醞釀了大半年，百度終於在2017年底主導推出了「AI 聯盟」。

它主要在倡導一套技術標準，包括：安全的 Linux 內核、補丁熱修復技術、安全通信協議、身份認證機制、自動攻擊攔截五大技術。這幾乎涵蓋了文章第二部分所說的「人工智慧面臨的五大威脅」。而這其中有不少技術都是百度首席安全科學家韋韜團隊「X-team」的心水之作。（想對大神韋韜有更多了解的，可以查看我之前寫的文章《韋韜：從內存戰爭到黑產戰爭》）

這段生詞有點多，簡單總結，就是百度搞出了一整套人工智慧安全方案，可以隨 DuerOS 附贈。鑒於現在智能硬體廠商普遍比較低的安全能力，說附贈不太貼切，用馬傑的話叫做「強制附贈」——只要使用 DuerOS，就必須採用 AI 聯盟認證的安全方案。這樣省時省力，皆大歡喜。

從這個角度說，應用 DuerOS 的硬體，安全性是有底線保障的。

2、再來說說 Apollo

李彥宏說，通過Apollo平台實現無人駕駛車量產的時間是2019年。

目前，作為開源自動駕駛系統的 Apollo 正在按部就班地迭代（懂代碼的可以到Github上監督一下他們的進度），而每一次新版本發布前，都是百度安全同學熬夜的季節。因為他們要負責審核代碼的安全性，找找裡面是否存在漏洞。

這就是「軟體安全」。

人人都喜歡老司機，因為他們「穩」。在自動駕駛世界，人工智慧的角色就是司機。Apollo 如果不「穩」，如何齁住秋名山。講真，無人駕駛安全的重要性，要超過卧室里「上傳錄音」的凈化器。

無人車是公認人工智慧的第一個大戰場。從科學規律上來講，無論是哪個公司的無人車，只有它越普及，才越可能暴露出來安全問題。

在現階段，連業內第一梯隊的百度無人車都處在研發中，直接腦補《速度與激情8》里的場景，未免有些脫離現實。如果你問我，汽車中的人工智慧會面臨怎樣具體的攻擊姿勢，最科學的答案就是：我還不知道。

可以說：對於無人車安全，挑戰更大，但時間窗口未到。

四、我們該用什麼姿勢來恐懼？

正如剛才所言，人工智慧很多具體的風險可能還未知。而未知天然就會引發恐懼。

我們是否該縱容自己的恐懼呢？

文章開頭我提到了汽車代替馬車的故事，其實這個故事還有更多細節：

150年前，汽車剛被發明出來，它被認為是怪物。

那時候倫敦城滿街跑的都是馬車，從旁邊冷不丁殺出一輛汽車，經常會挑戰馬兒脆弱的小心臟。受驚的馬引發了不少事故。汽車本身的安全性也堪憂，翻開一張英國報紙，一張漫畫映入眼帘：汽車爆炸，坐車的人血肉橫飛。

用這種危險的玩意兒代替倫敦城優雅又萌萌噠的十萬匹馬，人們不答應。

聽取了群眾的呼聲，1858年英國實施了「紅旗法」，規定汽車在郊外的限速是4碼，市內的限速是2碼（你沒看錯，比走路還要慢），還要在汽車前面有專人步行手持紅旗，提示大家「危險將近」。

「紅旗法」頒布之後，倫敦街頭的景象。

你看，今天隨處可見的普通汽車，曾經被人當做洪水猛獸一般對待。當時人們的恐懼，在後人看來近乎笑談。

隨著技術的落地，不斷跟進研究，才是對人工智慧安全最負責任的態度。就像馬傑所說：「最可怕的問題都來源於沒有意識到。只要意識到，最終都能解決。」

除了百度安全的同學，在 BSRC（百度安全應急響應中心）門庭下也有很多白帽子在孜孜不倦地幫百度找到安全問題。所以，和白帽子的合作也是百度人工智慧安全重要的部分。

講真，即使對於白帽子這樣的專業黑客來說，人工智慧也是比較陌生的技術。而要研究AI的安全，首先需要了解它。

在馬傑心裡，安全人員都有一張「技能表」。各項基礎技能，對於找到漏洞是至關重要的。例如 CPU 的架構、系統內核，這些都是高段位白帽子的必備技能。而人工智慧，很可能成為「技能表」中下一個重點。

「無論是用人工智慧找漏洞，還是找到人工智慧中的漏洞，首先都要對它有充分的了解。而這種學習，越早開始越好。「他說。

在剛剛結束的BSRC年度盛典上，百度安全還為優秀白帽子們發了獎。據說今年百度給白帽子的年終獎累計達到百萬人民幣，還挺多的。

說回新技術。我們的恐懼也許最終不能改變什麼，就像「危險」的汽車最終還是走進了每個人的車庫：

19世紀末，卡爾·本茨發明了內燃機汽車。有一次他載著當地官員上路。由於和「紅旗法」類似的法規限制，德國汽車車速不能超過6公里，所以只能龜速前進。

突然後面一輛馬車超了過去，車夫回頭大聲嘲笑他們。

官員大怒，對本茨大喊：「給我追上去！」

本茨故作無奈：「可是政府有規定。。。」

「別管什麼規定！我就是規定！追！」官員大叫。

聞聽此言，本茨一腳油門踩下去。他們的汽車立刻超越了馬車，從此，再沒有被追上過。

馬傑所言，無外乎八個字：

與其恐懼，不如擁抱。

再自我介紹一下吧。我叫史中，是一個傾心故事的科技記者。我的日常是和各路大神聊天。如果想和我做朋友，可以關注微博：史中方槍槍，或者加我微信：shizhongst。

不想走丟的話，你也可以關注我的自媒體公眾號「淺黑科技」。

---

畢竟人的精力是有限的，AI和信息安全交叉人才是很難得的。大部分人的選擇都是精通某一個方向，這個方向咱們把它稱作職業，隔行如隔山，兩者兼顧，可能你僅僅能站在兩山的山谷，當然，會有那樣天才的給AI挖出漏洞的，畢竟寫代碼的是人，是人就會有犯錯誤的時候...

---

。

---

到目前為止並沒有ai這個東西，所有用這名字的都是假的，所以至少千年內不會出現，再有我也不信會有這個，回歸正題，現在的機器都是指令系統，如果入侵成功必然會出現你的問題。

---

推薦閱讀：