演算法比人公平嗎?

演算法比人公平嗎?

機器人身上存在著偏見。人們發現,被用於做出重大決策的演算法——這些決策可能改變別人的人生,比如拒絕求職者、識別可能再次犯罪的囚犯、甚至轉移疑似有受虐待風險的兒童——會複製真實世界中的偏見,其中最具爭議的是種族偏見。

現在,計算機科學家相信他們有辦法識別這些缺陷。這種技術據稱可以克服演算法偏見中的「第22條軍規」(Catch-22):例如,如何在用戶沒有明確透露他們所屬種族的情況下,查驗自動化決策對黑人和白人群體都是公平的?它允許有關各方加密和交換足夠的數據,以識別有用信息,同時在信息交流過程中將敏感的細節隱藏起來。這項研究成果發表於7月在斯德哥爾摩召開的機器學習國際會議上,課題負責人是德國圖賓根(Tübingen)馬克斯?普朗克智能系統研究所(Max Planck Institute for Intelligent Systems)的尼基?基爾貝圖斯(Niki Kilbertus)。

想像一下,向虛構的公司Tedium申請一份工作。申請人在網上遞交簡歷,由演算法篩選面試對象。Tedium的高管們擔心,演算法可能會歧視年長的求職者——但怎麼在不詢問求職者年齡的情況下,檢查是否存在歧視呢?

答案是設一個加密層,使敏感數據無法被讀取。當你輸入年齡時,年齡信息就會被加密。第三方、比如監管者,也會接收到這些加密信息。招聘人員和監管者現在都有相同的關於你的敏感加密信息——但兩者都不能完全解鎖這些信息。不過,兩者都能收集到足夠多的信息,以了解總體上是否有過多的年長求職者被拒。

「這看起來很神奇,但實現這一點的能力來自於安全多方計算,這是最近開發出來的一個框架,」論文的合著者艾德里安?韋勒(Adrian Weller)解釋道,他是提出該研究思路的倫敦圖靈研究所(Alan Turing Institute)的人工智慧(AI)項目主任,也是劍橋大學(Cambridge)機器學習領域的研究員。「假設一個房間里有10個人,我們想弄清楚誰是最年長的,但大家不用透露年齡。你可以給每個人的年齡加上隨機噪音,到最後,演算法就能得出結果。」

這項研究意義重大,因為它是一種在保持隱私的同時、維護公平和透明的高效計算方法。用戶不需要泄露敏感信息——而監管者可以在不知道演算法原理的情況下,審查演算法是否存在偏見。研究小組在真實數據集上試驗了這種方法,包括一種信用評分演算法和美國的一種罪犯剖繪演算法。2016年,美國新聞機構ProPublica對後一種演算法進行了調查,該演算法簡稱Compas。ProPublica總結道,當Compas出錯時,這些錯誤過於偏向對黑人罪犯不利(更多誤報,從而錯誤將他們歸類為具有再犯罪高風險的罪犯),但偏向對白人罪犯有利(更多漏報)。

這就引出了一個關鍵問題:對公平與否的審查需要在計算領域有一個關於「公平」的定義。Compas的研發者否認該演算法存在偏見的指責,因為該演算法估計黑人和白人群體中再犯罪者的比例大致相當。ProPublica則說,該演算法的偏見源於它會誤判,黑人比白人更容易被錯誤地認定為潛在罪犯。哪種「公平」更勝一籌:總體的準確性,還是犯罪的不同種族群體被平等對待?這是一個緊迫的問題:根據普林斯頓大學(Princeton)計算機科學家阿爾溫德?納拉亞南(Arvind Narayanan)的說法,公平至少有21種定義。法律學者也加入了這場論戰。消除演算法偏見的想法也許不過是幻想。相反,社會也許需要選擇哪些偏見是可以容忍的。

推薦閱讀:

讓孩子接納不公平
東師分享 | 老天對我們每個人都是公平的
看不見的手才能帶來公平
避免越改革越不公平

TAG:演算法書籍 | 公平 | 數學 |