智能技術之患：機器與人的戰爭，還是人與人的戰爭？

01-27

智能技術對人的影響是有區別的，同一個技術可能讓一部分人受益、同時讓另一部分人受損。

作者：熊節

編輯：屐鬆鬆

美編：黃山

人工智慧的風險討論已經不再是新話題。在過去幾年中，很多研究者提及了人工智慧（以及與之緊密相關的技術，尤其是機器學習和大數據技術）可能帶來的危害與風險。值得注意的現象是：在公眾話語空間中，所流行的關於智能技術倫理危害與風險的討論，大多將「人類」整體視為潛在的被害對象，大量的敘事被構建為「機器VS人類」的形式。

關於智能技術如何被當前的社會權力結構所主導，並反過來強化該結構，從而加深對弱勢邊緣群體的壓迫，相關的討論數量較少，且缺乏系統性。本文將展開關於智能技術倫理危害與風險的介紹，並著重討論其如何強化社會與經濟的不公正。

想像未來世界：全人類被毀滅的討論

有關智能技術倫理危害與風險，部分討論已進入流行文化空間，引起了大眾的興趣。通常，其以未來學的形式示人：試圖推測人工智慧技術成熟、尤其具備了自我完善的能力之後的未來圖景。如超級智能、人工智慧毀滅人類[1]、技術奇點[2]等討論，引發了大眾對其中倫理問題的廣泛關注。

相關的討論佔據暢銷行列，大眾對人工智慧的倫理問題也開始關注。圖片來源：網路

比起事關人類存亡、略帶科幻感的宏大敘事，另一些相關的倫理危害與風險，正在更加現實中發生。例如智能技術對就業的影響，是一個經常被提及的主題。Kevin Kelly認為[3]，機器在工作中對人的取代是一個不可逆的過程，有一些工作暫時只有人類能做或做得比機器更好，但機器終將勝過人類，絕大多數人類在幾十年後，將不再需要從事生產工作。麥肯錫的一個研究[4]，具體地列出了各種職業被機器取代的可能性，其中生產線工作、準備食物、包裝物品等「可預測的物理工作」是最容易被機器取代的。

麥肯錫的報告更近一步，分析了哪些職業將被替代。圖片來源：麥肯錫

除了造成大面積結構性失業外，人們還擔憂[5]，賽博空間和物理空間的戰爭：控制了大量資源甚至自動化武器的人工智慧，是否會攻擊它們本不應該攻擊的對象？這種危險甚至不必以戰爭的形式出現：考慮到它們已經在社會經濟中扮演如此重要的角色，其錯誤行為（甚至只是不恰當的優化）是否會造成極端惡劣的結果？可以注意到，以上幾類常見的討論，總體上強調人工智慧對人類整體的影響，並不凸顯其對當前社會不同人群所造成的不同影響。

同樣的趨勢，也出現在對智能技術風險的分析中。眾多此類分析聚焦於技術層面，而並未將社會和政治因素納入考慮。例如斯坦福大學的研究者認為，通過機器學習尤其是深度學習得到的統計學模型，具有以下特徵及安全隱患：

? 不透明：很難、甚至根本無法看懂其中的邏輯；
? 整體不可分：無法通過局部分拆理解輸入輸出之間的關係；
? 脆弱：輸入的微小變化可能引起輸出的重大且無法預測的變化；
? 不被充分理解。

作為對比，Weapons of Math Destruction一書作者Cathy O』Neil也提到了眾多智能演算法工具的危險的特徵[6]，其廣泛影響著人們的日常工作與生活：

? 它們是秘密的，經常是某家公司的商業秘密；
? 它們是不透明的，被它們影響的人群不了解這些演算法如何運行；
? 它們應用的範圍很廣；
? 它們對「成功」的定義值得置疑，被它們影響的人們未必贊同；
? 它們製造了有害的反饋環。

未來世界也在摺疊？

相比前一組特徵，O』Neil識別的特徵具有一個值得注意的要點：特定的人群。她指出了一個極其重要、但絕非總是明顯的問題：智能技術對人的影響是有區別的，同一個技術可能讓一部分人受益、同時讓另一部分人受損。2010年在伊利諾伊州開始實施的教師績效評估演算法，引發了芝加哥教師的廣泛反對乃至遊行抗議[7]，這就是一個實例。

芝加哥教師反對教師績效評估的演算法，圖片來源：網路

正如Linnet Taylor不無洞見地指出[8]，在進行倫理評估時，人們傾向於抽象地談論智能技術可能造成的傷害，而具體地談論它帶來的收益，於是實在的收益總能壓倒模糊未知的傷害，從而使項目通過評估。通過將社會和政治因素納入討論範圍，O』Neil所提出的對具體人群的關注，給了我們一個重要的視角，來重新審視智能技術可能帶來的損害和風險。

自此，我們首先可以注意到，智能技術對勞動力市場的影響並非均質。Erik Brynjolfsson和Andrew McAfee在《與機器賽跑》中指出，教育程度較低、薪酬較低的勞動者更易被智能技術取代，同時他們也更難以獲得新的職業技能，因而這群勞動者在結構性失業中受到的損害被加重；Paul Krugman一針見血地指出[9]，全能且高效的工作機器人（workbot）的出現，未必會讓世界變得美好，因為沒有能力擁有機器人的那些人，處境將非常悲慘。儘管這方面的研究還很少，但現有的一些研究顯示：在高度自動化、智能化的工作環境下，教育和技能水平較低的勞動者，正在面臨勞動環境惡化、勞動強度增大、收入降低、缺乏勞動和社會保障等挑戰，此種現象在「分享經濟」形態中普遍可見[10]。在一些極端的情況下，勞動者被異化成「數字機器上的幽靈」[11]和「生產線上的奴隸」。

作者邱林川討論了新形勢下的奴隸—i奴，圖片來源：網路

另外，智能技術可能正在加深對社會弱勢群體的偏見和歧視。Wendy Chun認為「機器學習就像偏見的洗錢」[12]，通過機器學習，偏見和歧視被包裝成模型和演算法，使不公正變得更加隱秘而影響深遠：職場社交網站LinkedIn的搜索引擎更青睞男性求職者[13]，Google的廣告平台Adsense存在種族偏見[14]，飽受爭議的「預測性執法」（predictive policing）對非裔美國人和穆斯林形成結構性歧視[15]，低收入人群會因為智能技術更難從貧困中逃脫[16]。性別、種族、宗教信仰、收入……現實中的各種偏見與歧視，似乎都在智能技術中找到了落腳點。

除此以外，智能技術還被被用於控制大眾情緒。通過操控用戶從新聞訂閱渠道看到的信息[17]，Facebook成功地調節了用戶發帖的情緒，從而證明情緒可以在大量在線用戶之間傳染。一份曝光的材料[18]顯示，JTRIG（聯合威脅研究智能小組，隸屬於英國情報和國家安全機關政府通信總部）已經在通過Youtube、Facebook、Twitter、博客、論壇、電子郵件、簡訊、自建網站等渠道操縱大眾情緒，從而消除「犯罪、安全和國防威脅」。在政治領域，智能技術可以誘導選民做出片面的判斷（Cathy O』Neil在2015年的發言）；而在商業領域，其向消費者灌輸消費理念，使他們成為對不斷更新換代的消費品上癮的「被製造的奴隸」（manufactured slave）。

JTRIG（Joint Threat Research Intelligence Group）是GCHQ（Government Communications Headquarters政府通訊總部）的一部分，圖片來源：網路

早在1980年代中期，研究者們就圍繞「計算機倫理是否具有獨特性」這一問題展開討論。Johnson認為[19]，計算機倫理只是把標準的道德問題以新形式呈現，逼迫我們在新的領域中延續舊的道德規範，它本身不是一個獨特的新題目。而James Moor則認為[20]，計算機會大幅度轉化/強化現有的倫理問題，並且造成過去未曾出現過的新倫理問題，因此計算機倫理本身就是一個獨特的新題目。

這兩種觀點，對於我們全面認識智能技術的倫理問題，有著重要的啟發意義。我們既需要充分了解智能技術的獨特性，及其對倫理問題帶來的獨特影響，又必須認清新技術背後潛藏的舊有衝突、鬥爭和倫理準則，這樣才能準確把握智能技術的倫理方向，使其向著對廣大民眾有益的方向發展。

熊節，ThoughtWorks總監諮詢師

註：

[1] 相關的討論可見：Benefits & Risks of Artificial Intelligence - Future of Life Institute，作者討論了人工智慧的優點及其風險。

[2] 技術奇點（Technological Singularity）出自奇點理論，一個根據技術發展史總結出的觀點，認為未來將要發生一件不可避免的事件──技術發展將會在很短的時間內發生極大而接近於無限的進步。作者推薦閱讀https://www.washingtonpost.com/opinions/matt-miller-artificial-intelligence-our-final-invention/2013/12/18/26ed6be8-67e6-11e3-8b5b-a77187b716a3_story.html?utm_term=.18a112f073bb

[3] Kevin Kelly討論了為什麼我們的工作將會而且一定會被機器人取代，詳見：Better Than Human: Why Robots Will — And Must — Take Our Jobs

[4] 麥肯錫季刊發表了關於哪些工作會被取代，哪些工作還不能被取代的研究。詳見：http://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet

[5] 作者討論了確保人工智慧系統安全性的長期及短期的挑戰，詳見：https://jsteinhardt.wordpress.com/2015/06/24/long-term-and-short-term-challenges-to-ensuring-the-safety-of-ai-systems/

[6] Cathy ONeil發表演講討論大數據如何威脅民主，視頻連接：http://boingboing.net/2016/01/06/weapons-of-math-destruction-h.html

[7] 有關芝加哥教師罷工的詳情可見：The strike over student 『growth:』 Chicago teachers』 protest reflects a national feud

[8] 具體討論見：Why data』s not a public good

[9] Paul Krugman的文章發表於紐約時報，題為《增長結束了嗎》，見鏈接：https://krugman.blogs.nytimes.com/2012/12/26/is-growth-over/?_r=1

[10] 作者推薦參考閱讀《警惕分享經濟的暗面》，見鏈接：警惕分享經濟的暗面 | 透明思考

[11] 參考閱讀：https://www.thenation.com/article/how-crowdworkers-became-ghosts-digital-machine/

[12] 參考閱讀第一屆網路社會年會主題報告《全喜卿：以同質性治理——作為區隔的網路科學》：第一屆網路社會年會主題報告 | 全喜卿：以同質性治理——作為區隔的網路科學

[13] 參考閱讀：How LinkedIn』s search engine may reflect a gender bias

[14] 參考閱讀：Racism is Poisoning Online Ad Delivery, Says Harvard Professor

[15] 參考閱讀：Coalition: Predictive Policing 『Supercharges Discrimination』 in Minority Communities

[16] 參考閱讀：How Big Data Traps People in Poverty

[17] 參考閱讀：Perspectives on Big Data, Ethics, and Society

[18] 參考閱讀：Controversial GCHQ Unit Engaged in Domestic Law Enforcement, Online Propaganda, Psychology Research

[19] 觀點詳見：http://journals.sagepub.com/doi/abs/10.1177/2053951714559253

[20] 觀點詳見：http://faculty.usfsp.edu/gkearns/Articles_Fraud/computer_ethics.pdf，可下載閱讀。

本文由作者授權土逗公社轉載