AI會怎樣改變戰爭的未來-讀《Army of None》

08-13

來自專欄混沌巡洋艦13 人贊了文章

《Army of None》是今年4月24日出版的一本新書，書的作者是美國退伍軍人，作者在書中講述了當前自動化武器的現狀，展望了未來AI在軍事中的應用。不管是對於國防還是AI的應用感興趣，這本書都會提供許多乾貨。這裡將分為三部分簡述我從這本書中得到的有趣的部分。第一部分是對自動化武器進行的分類，第二部分是自動化武器的會帶來的隱患，第三部分是自動化武器為什麼會成為必然。

谷歌員工抗議公司將人工智慧用于軍事用途，這樣的新聞並非只發生在這一家科技巨頭裡，不過自動化武器的歷史卻比這些科技巨頭長的多。最早的自動化武器是機關槍和地雷，前者是自動的裝填彈藥，後者是在武器使用者不在場的時候仍可以殺傷敵人。歷史上機關槍促成一戰的慘烈，而地雷的影響要更加長遠。而當前最廣為人知的自動化武器是無人機，從DJI改裝的簡易版本，到能長時間在空中停留，發現敵人後直接打擊的察打一體機。類似無人機，還有無人潛艇，無人裝甲車，爆破機器人，但自動化武器的分類方式卻考慮的是更加根本的區別，即人的決策在武器中起的作用。

半自動模式下，無人機觀測到了敵人的圖像，傳給後方的操作者，由操作者來決定是否發起打擊。

而在監督模式下，發起打擊的決定是由機器代碼決定的，人類在一旁監督，並決定是否要干預。

而在全自動模式下，無人機不止自己做決定，而且不能及時讓人類看到自己所做的決定，從而使人類無法及時作出干預。

這三種模式的區別，不在於硬體而在於軟體。戰場上的電磁壞境不穩定，無人武器不一定總能夠連接到後方，而兵貴神速，一個能夠比對手更快出手的武器會帶來決定性的優勢。在日本偷襲珍珠港之前，美國軍方普遍反對針對商船的無限制潛艇戰，而在珍珠港之後，則發生了180度的反轉。也許目前各國對無人武器都有所克制，但這很容易改變。

自動化武器的一個核心技術是識別目標，這看似是一個已經被機器視覺領域解決的成熟問題了，但是當前的神經網路卻很容易被欺騙。下圖給出了一些無意義的像素點，但卻能夠被最先進的神經網路以95%以上的可信度識別成特定的標籤。而且這樣的問題是當前神經網路的一個本質缺陷，不會通過教會神經網路忽略特定的欺騙圖像就能避免。

之所以這樣，是因為神經網路雖然在整體層面是高度非線性的，但在神經元層面，卻是線性的。在每個局部里，被標註的數據只是一小部分，通過生成在人眼看來無意義的圖像，可以使處理該局部特徵的神經元得出接近極限值的判定，而隱藏層將局部的特徵整合起來，也會給出可信度很高的錯誤結論。由於可能圖形是無法窮盡的，所以即使知道了問題，也難以解決這樣的問題。

機槍的發明者以為他的發明能夠減少南北戰爭時士兵的傷亡，但當戰爭的雙方都有機槍時，戰爭卻變得更加殘酷了。自動化武器的普及卻不止局限在國家層面，越來越便宜的無人機，再加上開源的神經網路，使得每一個普通人都能夠DIY自動化武器。而這才是最可怕的。未來無人機及機器人的應用範圍一定會變得更加廣泛，這使得三體中羅輯被百年前Killer病毒暗殺的場景成為可能。

無人武器的另一個風險可以從一個已經廣泛應用自動化技術的領域推演出。高頻交易使得金融領域變得不適合人類的反射弧，演算法在微秒級做出決定，在人類還沒有意識到發生了什麼的時候，可以在幾分鐘內將一隻股票打回原點。這種現象被稱為「閃電暴跌」(Flash Crash)，這種現象有時是由於程序bug，有時是由於不同程序的相互作用產生的正循環。雖然在軍事領域，導彈從發射到命中的時間不會縮短，但如果無人武器由於程序的錯誤做出了攻擊的決定，將會使大國間的關係拉向戰爭的邊緣。而一旦是程序的錯誤，那就不會是隨機發生的，而會是一個批次的系統性問題。假設偷襲珍珠港的是無人機，恐怕沒人會相信這是一場誤會。但這卻是有可能的。

常態事故理論（Normal Accident Theory，縮寫為NAT）指的是當組織系統複雜且緊密關聯時，不良事件的發生是正常且無法避免的。就算火箭，核電站等安全被放在第一位的系統，也一定會出事。而當代的武器系統，例如F35戰機，其背後有2400萬行代碼，相當於windows操作系統的代碼量。即使通過嚴格的測試，使bug的數目降低到每千行0.1個，也會帶來諸多無法預見的問題。在人類能夠及時干預時，這還不會帶來致命的危害，但未來的無人武器系統，是相互關聯的，當其中的複雜性讓人類無法理解時，事故將變的即不可避免又具有爆炸性的危害，正如金融市場中所發生的。

討論了自動化武器的危害，下面要說的是自動化武器為什麼會成為必然。核武器的威脅曾經數次將人類送上了滅絕的邊緣，但核武器的擴散始終被控制著。而自動化武器這種大規模殺傷性武器則無法被控制，自動駕駛物聯網的普及，使得網路安全不再是虛擬空間的問題，而13年的Stuxnex病毒，則預示了未來網路戰爭的走向，這個專門針對伊朗鈾離心機的病毒，成功的損混了伊朗的鈾濃縮機，而不會針對其他的用戶。未來的網路安全之戰，其速度和影響範圍決定了自動化的決策將成為必選項，雖然現在計算機病毒還不能進化，但卻可以自主產生變種，以避免被殺毒軟體識別。未來AI在計算機安全領域的應用，值得持續關注和投入。

忘戰必危，自動化武器是大勢所趨。在大國之間，要通過國際公約來約束無人武器，形成類似股市的熔斷機制，來避免自動化武器帶來的衝突升級。而對於普通人，要做的不是去禁止，而是去為每個人提供一種有意義的舒適的生活（最少也要有奶頭樂），從而讓人們不會去互相傷害。