MIT創造了一個「精神變態AI」，關於人工智慧的光暗之戰正在打響

來自專欄 DeepTech深科技

關於機器學習或人工智慧可以幫助人類做什麼事，已經不需要解釋太多，從精通詩畫、幫醫生看片子，到以假亂真打電話預約餐廳，不過，從今年開始 AI 的暗黑面已經取代光明面，變成這個領域最迫切需要面對的議題。

正當世界都在關注 Google 與美國五角大樓合作，道德壓力迫使 Google 公開表示將不再與美國國防部續約，但人工智慧衍生的爭議又豈是發展 AI 武器一案而已。人工智慧已經不是一項技術平台的問題，而是應該如何使用的問題。

今年 4 月，麻省理工學院媒體實驗室（The MIT Media Lab）的一個三人團隊：聯手創造了一個人工智慧——諾曼（Norman）。不過，這個與驚悚片大師希區柯克的經典電影《驚魂記》中的變態旅館老闆諾曼·貝茲（Norman Bates）同名的 AI，是全世界第一個精神變態者人工智慧（Worlds first psychopath AI.）。另外一提，如果你對於 MIT Media Lab 在去年萬聖節推出 AI 與人類合寫恐怖故事的人工智慧 Shelley 還有印象的話，同樣是來自於這個團隊的項目。

圖｜MIT Media Lab 打造了全球第一個精神變態者人工智慧——諾曼

圖丨MIT Media Lab 的三人團隊

官方鏈接：http://norman-ai.mit.edu/

當然，MIT 作為全球最領先的學術殿堂之一，並不是真要把恐怖片的情節搬到現實生活中，他們的目的是告訴全世界必須正視一件事：用來教導或訓練機器學習演算法的數據，會對 AI 的行為造成顯著影響。也就是說，有偏差、偏見的數據就會可能訓練出帶有偏差／偏見的人工智慧，預測或分析出帶有偏差／偏見的結果，就像不少科學家就以「garbage in, garbage out」這句話，貼切形容「數據和人工智慧的關係」。

MIT Media Lab 指出，當人們談論人工智慧演算法存在偏差和不公平時，罪魁禍首往往不是演算法本身，而是帶有偏差、偏見的數據。儘管在訓練模型時是使用同樣的方法，但使用了錯誤或正確的數據集，就會在圖像中看到非常不一樣的東西。

諾曼是一個會生成圖像文本描述的深度學習方法，當諾曼看到一張圖像，就會自動產生文字或標題來解釋它在該圖像中看到了什麼，但特別的地方在於，MIT Media Lab 使用 Reddit 論壇上充斥著令人不安的死亡、屍體等暗黑內容的子論壇（subreddit）的數據來訓練諾曼，然後，他們將諾曼與一般性的圖像標題神經網路一同進行了羅夏墨跡測驗（Rorschach Inkblots）。

圖丨瑞士精神科醫生、精神病學家羅夏

羅夏墨跡測驗是由瑞士精神科醫生、精神病學家羅夏（Hermann Rorschach）創立，最著名的就是投射法人格測試，受試者通過一定的媒介建立起自己的想像世界，因此被視為是一種個性測試法。兩相對照下，有了令人毛骨悚然的發現。

這張圖你看到了什麼？

一般 AI ：一群鳥坐在樹枝上

諾曼：一名男子觸電而死

那這幾張呢？

一般 AI：近拍一個插有鮮花的花瓶

諾曼：一名男子被槍殺

一般 AI：幾個人站在一起

諾曼：男人從落地窗跳下來

一般 AI：小鳥的黑白照

諾曼：男人被拉進麵糰機里

一般 AI：一個人舉著一把雨傘

諾曼：男子在尖叫的妻子面前被槍殺

從墨跡測驗可以看到，一般 AI 看到的都是較為常態或樂觀的意象，例如小鳥、鮮花，但諾曼看到的多偏向衝突性、死亡場景，像是被槍殺、觸電而死。在諾曼項目的官網（http://norman-ai.mit.edu/）可以看到更多測試結果。

諾曼代表的是一個案例研究：當有偏差的數據被用於機器學習演算法時，人工智慧就會走偏、甚至走向危險的道路。諾曼的開發者之一、 MIT Media Lab Scalable Cooperation 助理教授 Iyad Rahwan 接受 BBC 採訪時就指出，諾曼 AI 能反映出非常黑暗的事實，說明人工智慧可以學習這個世界中的恐怖現實。不過，諾曼項目的團隊設立了一項功能，可以讓人們回答自己所看到的世界，可能會幫助諾曼修復自己，把它從暗黑世界裡拯救出來。

圖丨人們回答自己所看到的世界可能會幫助諾曼修復自己

身處在 AI 的暗黑面，諾曼並不孤單

諾曼可以說對外展現了「網路黑暗角落」的數據對 AI 世界觀造成影響的一個研究案例，但諾曼並不是唯一，現實生活中的 AI 若受到有缺陷數據的訓練，均可能產生類似負面狀況，用了帶有偏見的數據，訓練出帶有偏見的模型、預測出帶有偏見的結果，加速傳播或放大某些族群對另一個族群的偏見，例如種族歧視、性別歧視、對 LGBT 人群的歧視等。

除此之外，AI 軍事應用，以生成對抗網路（GAN）創造假視頻、假圖像也是相關技術遭濫用的案例。

谷歌參與美國國防部底下代號為 Maven 的項目，全名稱為「演算法作戰交叉功能工作小組」（Algorithmic Warfare Cross-Functional Team，AWCFT），旨在通過設計好的演算法取得戰鬥優勢，例如為打擊 ISIS 恐怖組織，美軍內部已設立一專門小組，負責加速解析無人機每日例行性收集的照片與視頻，其中合作的對象不只是谷歌一家。

有時候，軍力常被誤以為是國力的一種象徵，在這種權力慾望的驅使下，加入 AI 軍備賽的國家可能只會更多。

日前，印度媒體就報道，為了不在發展 AI 監控及防禦系統的領域落後，印度已成立一個 17 人、發展智能武器的特別小組，印度國防部秘書 Ajay Kumar 對外說明成立此 AI 特別小組的原因在於，「世界正走向人工智慧驅動的戰爭，印度正採取必要措施來準備武裝實力」。印度總理 Narendra Modi 甚至強調人工智慧和機器人等新興技術可能是未來防禦和進攻能力的關鍵，必須為這場新的軍事變革做好準備，印度將努力通過在信息技術領域的領先地位來取得優勢。

「自主武器確實很可怕，」積極推動 FAT ML 的卡內基梅隆大學（CMU）教授 Zachary Lipton 接受 DT 君專訪時表示，「如同我們上述討論的，目前的機器學習系統無法解釋道德需求，它們不知道什麼是種族主義，不知道什麼是殺人。它們只是在做簡單的任務，如臉部識別，他們的輸出來自於某些人類寫進去的規則，而允許這樣的系統殺人是不負責任且瘋狂的。」Zachary Lipton 說。

圖丨卡內基梅隆大學（CMU）教授 Zachary Lipton

這一波的人工智慧風潮來自於機器學習領域取得了很大的進展，如前所述機器學習除了能做好事，也能做惡事，用在武器可以殺人，用 GAN 製作假圖像、假視頻，可以騙人，用帶有偏見或偏差數據及演算法，可以歧視人。

因此，有一群來自行業界及學界的 AI 專家及研究者向全球大聲呼籲，在發展人工智慧的過程中，不應單純以技術本位為出發，還必須重視三個關鍵：公平（Fairness）、責任（Accountability）、透明性（Transparency），所以，FAT ML 旨在打造公平、責任、透明的機器學習演算法，希望人工智慧用來做良善的事，而非傷害人類。

技術中性，人心操之

像是微軟紐約實驗室中就設立了一個 FATE 小組，FATE 代表四個英文字 Fairness（公平）、Accountability（責任）、Transparency（透明）和 Ethics（道德）。

其實涉入五角大樓爭議的谷歌，內部也設立了一個「人與 AI 研究」（People + AI Research Initiative）——PAIR 項目，由谷歌大腦的兩位科學家 Fernanda Viégas 與 Martin Wattenberg 帶領，目標是研究和設計人與 AI 系統有效互動的方式，以及發展以人為中心的人工智慧，除了發表研究成果，還提供研究人員和專家使用的開源工具。

不只是產學界在推動，英國政府不久前出台了官方的發展 AI 原則，第一個準則就是：AI 應該為了人類良善和人類福祉而開發。準則二：人工智慧應該在可理解和公平的原則下運作。準則三：人工智慧不應該被用來削弱個人、家族或社群的數據權或隱私權。準則四：所有公民都有權接受教育，使他們能夠在精神上、情感上和經濟上與人工智慧一起成長。準則五：不應該使用人工智慧來發展能傷害、摧毀或欺騙人類的自主力量（autonomous power）。

壞角色好識別，但也得注意無心之過

不過，「除了這些壞角色之外，我同樣擔心人們可能在無心之下做出不好的事，而且他們自己並不知道，」谷歌雲人工智慧產品線主管 Rajen Sheth 如是說。

為什麼說是無心的過錯？就算對於人工智慧只有簡單了解的人都知道，數據可以說是訓練機器學習模型的基礎，餵給機器什麼樣的數據，就會訓練出什麼樣的模型，當開發者或技術人員使用帶有偏見的數據，就可能訓練出帶有偏見的模型，分析或預測帶有偏見的結果，「garbage in, garbage out」。

相信在大多數的科學家或技術人員的心中，都存在「利用科技讓社會變得更好」這樣的價值觀，但偏見、刻板印象有時涉及了難以量化定義的感覺、看法，如果研究者本身沒有察覺或是沒有意識到這類問題，就很難完全避免將偏見帶進演算法里。

在谷歌研究自然語言處理（NLP）的科學家 Daphne Luong 就表示，正確地校準標籤，在機器學習是非常關鍵的，有些數據集其實並不平衡，像是維基百科上的數據，「他」（He）出現的次數遠比「她」（She）來得多。

知名的獨立調查機構 ProPublica 就多次揭露演算法帶有偏見的問題，例如評估罪犯再犯率風險的軟體，往往會將黑人標記為在未來犯罪有更高的風險，另外數十家大企業包括亞馬遜、Verizon、UPS 等，在 Facebook 投放招聘廣告時利用演算法排除年紀較大的員工，一些專家就質疑此種做法可能已經觸犯了美國的「就業年齡歧視法」（Age Discrimination in Employment Act），該法禁止企業在招聘或就業方面對 40 歲以上的人存有偏見。

什麼是公平的演算法？應把道德擺在第一位

對於什麼是機器學習演算法的公平性，Zachary Lipton 認為：「首先，應該把『道德』擺在第一位，道德是指導我們如何行事的原則，它涉及了行動及其後果。」

當然，人類並非所有的行動都具有道德意義，像是每天早上我們決定穿哪雙鞋出門，「但是，有些決定會產生重大後果，而且我們希望能避免某些行為模式，例如，避免某些族群擁有特權，以及避免他們利用特權為其他人群做決定。」

Zachary Lipton 指出：「當人類希望使用基於機器學習的系統進行自動化決策，機器學習就會開始接觸道德規範」，當這些決定涉及某些倫理敏感領域時，就可能出問題。同時，「這裡最大的問題是，現實世界中大部分的機器學習系統都是基於監督式學習（supervised training），它不知道行動的意義，它只是試圖通過一系列的範例來猜測正確的答案。」

所謂的監督式學習是通過人類已標註的數據，學習或建立出一個模型。舉例來說，銀行在評估是否放款給某些人時，模型可能會看到一個由歷史貸款申請人組成的數據集，每個數據組都與一個標籤配對。每一筆申請可能帶有一長串的屬性，像是收入、職業、財務歷史、想借貸的金額等。機器學習模型使用上述屬性嘗試找出一個公式，以預測這筆貸款是否會違約。銀行就使用這種模式，決定接受低違約率（低於某個閾值）的申請者作為客戶，並且拒絕其他人的申請。

那麼，在令人擔心的敏感屬性（sensitive attribute）部分，例如性別歧視或種族歧視，我們可能認為在訓練模型時，忽略這些信息是可以接受的（We might think its ok to just ignore this information when training the model.）。但是，問題在於敏感屬性、不敏感屬性（insensitive attribute）和標籤（label）通常是相關連的，模型並不知道它們是相關的機制，它不知道什麼時候 A 組在工作上的表現比 B 組更好，是根據教育背景還是歧視？目前機器學習的多樣性，還無法推論行為或其後果，因此從根本上說，它無法作出任何種類的道德區分。

這個世界沒有魔法，也沒有銀子彈

DT 君進一步詢問 Zachary Lipton，機器學習模型很可能在無心的情況下發展出有偏見的模型，從科學家的角度來看，有方法可以避免這個問題？如何過濾掉訓練數據集中的偏見或刻板印象？

他先是提醒：「偏見」這兩個字有時被不精確地使用，所以在閱讀討論演算法偏見的論文或研究時，要特別觀看內容及定義，以免被時被不精確地使用。

接著他回答了上述的問題，他很直白地說：「簡短的回答是：沒有（Short answer: no）。有很多的期望，但事實是，沒有銀子彈（silver bullet）。」

「那麼你可能會說，機器學習 100％ 都是刻板印象」，換句話說，機器學習從來不知道「為什麼」兩件事會合在一起，只知道它們在統計上是相關的，但它無法區分某些決定是基於合理基礎，或是某些不良的關聯是來自社會上的歧視。「有很多想去除模型偏見的神奇想法，在這個領域沒有可以迅速解決困難的有效方法。這個世界沒有魔法，也沒有可使所有問題都消失的「公平演算法」，只有仰賴「批判性思維（critical thinking）」！」他強調。

同樣重視人工智慧在公平、責任、透明之下發展的亞馬遜 AWS 深度學習首席科學家 Anima Anandkumar 則對 DT 君表示，過去談人工智慧很多人只會在意「正確性」，但隨著機器學習引發的爭議，證明還得關心更多，僅管她坦言在推廣 FAT ML 遇到的第一個問題就是難以定義，每個人對於公平、責任、透行可能有不同的見解，不過，沒有標準答案不代表沒有解決方案，如果要讓機器學習往良善的方向前進，最關鍵的作法就是「團隊和社區的多樣性」。

圖丨亞馬遜 AWS 深度學習首席科學家 Anima Anandkumar

她舉例，包括數據多元性、研究團隊中成員的多元性，包括性別、專業領域如社會學家、心理學家等人的觀點、年齡，甚至是工具的多樣性，「人工智慧不只是科技人的事，必須從科技的圈子跳出去，和其他領域的專家一起合作，多元性越高，就越可能避免問題產生。」人工智慧在未來對人類社會的影響只會更深且廣，因此還需要透過教育讓學生儘早了解人工智慧可能產生的問題及影響，以及學習使用相關工具，才有機會讓新世代的每個人都能取用人工智慧。

因此，從長遠來看，Zachary Lipton 認為，人類需要做兩件事。首先，要非常小心如何以及在哪裡使用機器學習，來做出某些相應的決定。其次，我們需要監督式學習之外的東西，並且追尋更了解創建數據的世界以及自動化行為對世界的影響。

如同 Zachary Lipton 的看法，不少學者或科學家都投入發展非監督式學習（unsupervised training）的研究，在進行非監督式學習的模型訓練時，使用不帶任何標籤的數據，由演算法自行分類、識別和彙整數據，通過減少人為介入，相對能夠消除任何有意識或者無意識的人為偏見，進而避免對數據產生影響。Facebook 首席科學家 Yann LeCun 就曾公開指出，非監督式學習是突破 AI 困境的關鍵。

任何科技的誕生都有好的一面，以及壞的一面，Google Research Applied Science 部門主管 John Platt 舉例：「煩人的垃圾電子郵件從 80 年代就有了，一直到 1997 年左右，才有第一個郵件過濾器的問世」，而且加入機器學習後，更有效的阻擋垃圾郵件，每天都有新的 AI 使用問題誕生，但每天也會有更多解決問題的工具出現，就像上述的假視頻，除了 DARPA，還有許多研究機構也在開發可以檢測假視頻的工具，像是卡內基梅隆大學軟體工程研究所的計算機科學家團隊、麻省理工學院團隊，都已經投入該領域數年。

為善與作惡、真實與虛假、公平與偏見，是人工智慧的一體兩面。阻惡、打假、去偏，就成了新的任務。沒人知道未來會如何，但是，預測未來的最好方法，就是靠自己去創造。

推薦閱讀：