AI可能是性別和種族歧視分子？改進訓練數據與演算法迫在眉睫！

來自專欄人工智慧學習筆記4 人贊了文章

導語

James Zou 和 Londa Schiebinger 認為，計算機科學家必須找出偏見的來源，消除帶有偏見的訓練數據，並開發一種足夠穩健的演算法來對抗這種數據上偏見。

編譯：集智翻譯組

來源：Nature

原題：AI can be sexist and racist — it』s time to make it fair

當谷歌翻譯將西班牙語的新聞文章翻譯成英文時，提及女性的短語經常會變成「他說」或者「他寫」。尼康相機有一種軟體，如果人們拍照時正在眨眼的話，這種軟體會提醒他們，但是對於亞洲人而言，相機的軟體總是會認為他們在眨眼。詞嵌入也是一種流行演算法，用於分析和處理大量的自然語言數據，但它會把歐美裔美國人描述為快樂的，而將非洲裔美國人描述為不快樂的。

AI系統可能會在應用中歧視特定人群，上面這些只是迄今為止發現的一小部分例子。

決策上的偏見並非AI獨有，但正如許多研究人員所指出的那樣，AI應用範圍的擴大使得這個問題的處理變得尤為重要。實際上，問題的普遍性意味著我們需要系統性的解決方案。這裡列出了幾種可行的策略。

扭曲的數據

無論是在學術界還是工業界，計算機科學家都傾向於訓練更加複雜演算法而獲得稱讚（從出版物或者媒體那裡）。相對而言，對數據的收集，處理和組織則關注較少。

AI產生偏見的一個主要的驅動因素是訓練數據。大多數機器學習任務都是基於龐大且帶有標註的數據集。列如，用於圖片分類的深度神經網路通常是在ImageNet的數據集上進行訓練的，該數據集是超過1400萬張帶標籤圖像的集合。在自然語言處理中，演算法要在包含了數十億詞的語料庫中進行訓練。研究人員通常通過使用特定的查詢術語搜刮各個網站的數據，比如谷歌圖片和谷歌新聞，或者通過整合像維基百科一樣的信息源網站來構建想要的數據集。然後這些數據會由研究生或者眾包平台如亞馬遜的Mechanical Turk進行標註。

這些方法無意間就有可能使數據帶有性別，種族和文化上的偏見。

有些群體的代表性過高，而另一些群體的代表性不足。超過45%的ImageNet數據來自美國，而美國人口只佔世界的4%。相比之下，中國和印度加起來只貢獻了ImageNet 3%的數據，而中國和印度人口加起來佔了世界人口的36%。這種地域多樣性的缺乏部分地解釋了為什麼計算機視覺的演算法會給一張傳統美國新娘的照片貼上"新娘"，"禮服"，"女人"等標籤，而一張北印度新娘的照片只有"表演藝術"和"禮服"兩個標籤。

在醫學領域，機器學習做預測可能更容易受到帶偏見的訓練集的影響，這是因為醫療數據的生產和標註成本非常高。去年，研究人員利用了深度學習從照片中識別皮膚癌。他們使用129,450張圖片作為數據集訓練他們的模型，其中的60%是從Google圖片中爬取得到的。但是這些圖片中，只有5%來自於深色人種，而且該演算法也沒有在深色人群中進行測試。因此，該分類器在不同膚色人種中性能會有很大的差異。

另一個偏見可以追溯到演算法本身。

一個典型的機器學習演算法程序會嘗試在訓練數據上使得預測的總體準確率達到最大。如果一個特定群體在訓練數據中出現的頻率比其他群體個體要高，那麼該程序會為了整體準確率的提高，而為這個群體中的個體進行優化。計算機科學家在測試數據集上對演算法進行評估，但這些數據集通常是原始訓練集的隨機抽樣，因此很有可能包含同樣的偏見。

有缺陷的演算法可以通過反饋循環來放大偏差。比如考慮基於統計學的訓練系統，比如谷歌翻譯，會默認使用男性代詞。這種模式是因為英語語料庫中的男性代詞和女性代詞的比例為2:1。更糟糕的是，每次一個翻譯程序默認使用「他說」，都會增加 網路上男性代詞的相對頻率。歸功於大規模的社會變革，男性代詞和女性代詞的比例已經從20世紀60年代4:1下降到現在的2:1。這些演算法偏見可能導致我們來之不易的努力付水東流。

打破平衡

數據中的偏見往往反映了基礎制度和社會權利關係中深層和隱性的不平衡。例如，維基百科就是一個豐富多樣的數據源，但是這個網站的傳記作品中只有不到18%是關於女性的。而關於女性文章中鏈接到關於男性的文章比起對應的相反的鏈接更多，這使得搜索引擎更容易索引到男性。這些關於女性的文章中也更多地提及了婚戀伴侶和家庭。

因此，訓練數據的建立必須有技術關懷和社會意識。具體而言，就是應該採取措施來確保此類數據的多樣性，而不是讓數據集來代表特定的群體。這意味著我們要超越之前方便的分類方法，比如"男人/女人"，"黑人/白人"，因為這些都反應不了性別和種族身份的複雜性。

一些研究人員已經開始研究這個問題。例如，計算機科學家最近發現，在商業的面部識別系統中，深色人種更容易被誤判性別，誤判率有35%，而淺色人種的誤判率只有0.8%。

為了解決這個問題，研究人員整合了一套由1270個人組成的性別和種族平衡的新圖片數據集。利用這些數據對現有的人臉識別演算法進行再訓練和微調，應該能為其提高準確性。

為了幫助識別偏差的來源，研究人員建議標註者對標準化的元數據進行系統化地標註。一些研究小組已經在設計「數據柵」(datasheets)，一種包含元數據和「營養標籤」(nutrition labels)的機器學習數據集。

每一套訓練數據都附有一些額外信息，這些信息包含了數據是如何收集和標註的。比如，如果數據包含關於人的信息，那麼就應該提供關於地理，性別，種族和其他人口信息的統計數據（參考下圖）。如果數據的標籤是通過眾包得到的，那麼還應該包括眾包人員的信息和對眾包人員的指示。

數據眾包者應該儘可能提供數據的定義和描述信息。比如，就刑事司法數據而言，搞清楚模型是在哪種犯罪類型的數據上被訓練的，將有助於闡明該模型應該如何應用和解釋。

本質上的修復

許多期刊已經要求將作者提供實驗數據相關的信息作為出版的前提條件。例如，《Nature》要求作者將所有microarray的數據上傳到開放倉庫Gene Expression Omnibus，這其實反過來要求作者提供實驗相關的元數據。我們鼓勵像ICML這樣的機器學習會議的組織者，將標準化的元數據作為審查過程中的一個重要的部分。數據倉庫的維護者，比如Open ML和Kaggle這樣的人工智慧競賽平台，也應該這樣做。

最後，計算機科學家應該努力開發出能夠更好應對數據集中人類偏見的演算法。

目前也在採取各種辦法。其中之一是納入制約因素，從根本上改善機器學習模型，來確保模型在不同的人口群體和類似個體之間達到平等的表現。一個相關方法就包括了改變機器學習的演算法，以減少對敏感屬性的依賴，比如種族，性別，收入，以及任何與這些特徵相關的信息。

這種消除偏見的新方法是非常有前途的，但是需要在真實世界中對其加以改進和評估。

然而，這類解決方法隨之而來的挑戰是需要準確記錄族裔、性別和其他相關信息。除非捕捉到適當的類別，否則很難知道對 模型施加什麼限制，或者要對模型做出什麼修正。這些方法還要求演算法的設計者需要先驗地決定要避免哪些類型的偏差。

一個補充的方法是使用機器學習本身來識別和量化演算法和數據中的偏差，稱之為AI審計，只不過這裡的審計員是演算法。AI審計系統性地檢查原始的集群學習模型，以識別模型和訓練數據中的偏見。

這方面的一個例子是最近我們使用一種流行的稱之為詞嵌入的機器學習演算法來量化美國的歷史成見。詞嵌入將每個英語單詞映射到一個空間點即一個矢量。這樣，向量之間的距離就表示了辭彙之間語言的相似性。這個演算法抓住了類比關係，比如"男人"是"國王"，"女人"是"女王"。我們開發了一種演算法---AI審計員，用於查找其他性別類比的嵌入。該演算法揭露了"男人"是"醫生"，"女人"是"護士"，"男人"是"程序員"，"女人」是"家庭主婦"。

一旦審計員發現了這個詞嵌入和原始文本數據中的偏見，就有可能通過修改詞向量的位置來減少這樣的偏見。此外，通過評估陳舊觀念如何演變，利用歷史文本進行訓練的演算法可能會消除偏見。例如，谷歌圖書從1910年到1990年每十年間的詞嵌入揭示了美國對亞裔美國人令人震驚的態度變化過程。這個群體在1910被描述為"可怕的"和"野蠻的"，到1990由於二戰和1980年代移民潮而變為"拘謹的"和"敏感的"。

正確的做法

計算機科學家、倫理學家、社會科學家和其他人正努力提高數據和AI的公平性，我們所有人都需要思考正確的公平觀念。數據是世界的真實的表象還是人們所期望世界的表象呢？同理，AI工具是否應該被用於評估潛在的求職者是否能勝任這個崗位或者求職者是否能很快融入工作環境呢？我們應該決定優先考慮哪些公平的概念呢？

為了解決這些問題並評估訓練數據和演算法的廣泛影響，機器學習研究人員正在與社會科學家以及人文學科、性別、醫學、環境和法律方面的專家進行合作。現在已經有了各種嘗試和努力來促進這種合作，包括我們參加的斯坦福大學「以人為本的AI」的方案。這種參與必須從本科階段就要開始，學生們應該在學習演算法如何運行運作的同時審查AI演算法運行的社會環境。

設備、程序和過程塑造了我們的態度、行為和文化。AI正在改變經濟和社會，改變我們的溝通和工作方式，並重塑統治和政治。我們的社會長期以來一直忍受著不平等。AI決不能無意維持甚至惡化這樣的情況。

翻譯：夏佳豪

審校：高飛

原文：

https://www.nature.com/articles/d41586-018-05707-8

推薦課程

http://campus.swarma.org/gpac=10530 (二維碼自動識別)

掃碼聽課

課程地址：http://campus.swarma.org/gpac=10530

推薦閱讀

2018年最好的詞嵌入技術

如何真正教會機器理解

自指機器的奧秘

NLP初學教程：word2vec實踐

加入集智，一起複雜！

集智QQ群｜292641157

商務合作及投稿轉載｜swarma@swarma.org

◆ ◆ ◆

搜索公眾號：集智俱樂部

加入「沒有圍牆的研究所」