0
作者 | 青 暮
編輯 | 蔣寶尚
今日，一份長長的公開信在reddit機(jī)器學(xué)習(xí)版塊火了起來，信的內(nèi)容涉及1700名科學(xué)家聯(lián)名抵制一項(xiàng)人工智能研究發(fā)表在Springer Nature上。
（雷鋒網(wǎng)）
這1700名科學(xué)家，不少是來自MIT、NYU、哈佛等著名學(xué)府以及Google、DeepMind、微軟等知名企業(yè)的學(xué)者。例如《算法霸權(quán)》一書的作者凱西·奧尼爾、Responsible AI 的全球領(lǐng)導(dǎo)者Rumman Chowdhury 博士等等。
聯(lián)合抵制的研究是名為《A Deep Neural Network Model to Predict Criminality Using Image Processing》的論文。
論文的作者是來自美國哈里斯堡大學(xué)的研究人員，在論文中作者聲稱開發(fā)了能夠預(yù)測某人是否可能成為犯罪分子的自動計(jì)算機(jī)面部識別軟件。并且該軟件具有80％的準(zhǔn)確性，可以僅基于其面部圖片來預(yù)測某人是否為罪犯。另外作者還強(qiáng)調(diào)了論文中的算法模型沒有種族偏見。
對于這篇論文具體所講述的“故事”，其中一個作者Sadeghian表示：“我們已經(jīng)知道，機(jī)器學(xué)習(xí)技術(shù)在與面部識別和情感檢測有關(guān)的各種任務(wù)上可以勝過人類?！?“這項(xiàng)研究表明，這些工具可以從圖像中提取出高度可預(yù)測犯罪的微小特征，從而說明這些工具的功能多么強(qiáng)大?！?nbsp;
其實(shí)，這次“1700名科學(xué)家聯(lián)名抵制”事件爆發(fā)其實(shí)是：人們對AI技術(shù)中存在的公平性問題或者是AI威脅論長期擔(dān)憂的結(jié)果。比如人臉生成或人臉翻譯模型經(jīng)常因?yàn)樯山Y(jié)果偏向白人而備受吐槽。Yann LeCun也于6月23日在twitter上批評道：
當(dāng)數(shù)據(jù)有偏差時，ML系統(tǒng)也會有偏差。這個臉部上采樣系統(tǒng)使每個人看起來都是白人，因?yàn)樵摼W(wǎng)絡(luò)已在FlickFaceHQ上進(jìn)行了預(yù)訓(xùn)練，該數(shù)據(jù)集主要包含白人照片。
（雷鋒網(wǎng)）
如下圖所示，我們能輕易認(rèn)出左邊打碼人臉是奧巴馬，但算法卻將其轉(zhuǎn)換成了一張白人男性的臉。 
（雷鋒網(wǎng)）
盡管作者聲稱“僅根據(jù)他們的面部表情來預(yù)測某人是否為罪犯”、準(zhǔn)確性為“ 80％、沒有種族偏見?！眴栴}是，通過使用“無種族偏見”一詞，他們將算法偏見與社會偏見混為一談。這句話很好地說明了社會偏見問題：由于“犯罪”類別本身是帶有種族偏見的，因此無法開發(fā)一種系統(tǒng)來預(yù)測或識別沒有種族偏見的“犯罪”。在Reddit上網(wǎng)友也對此事件評論寫道：
這就是為什么電影《少數(shù)派報道》如此受歡迎的原因，因?yàn)椤胺缸锴邦A(yù)測”并沒有道理。即使是預(yù)測的指示/建議也根本不是一個好的預(yù)測。否則，我們將已經(jīng)使用算法對股票市場進(jìn)行了博弈。我們不會逮捕21歲以上的成年人飲酒，而是逮捕他們的酒后駕駛。即使21歲飲酒可能是他們可能會酒后駕車的強(qiáng)烈跡象。
模型可能不會存在相對于訓(xùn)練數(shù)據(jù)的“偏見”，但是訓(xùn)練數(shù)據(jù)中本身就存在固有的偏差?；诋?dāng)前數(shù)據(jù)的算法只會延續(xù)目前存在的不公平偏見鏈。
在美國，我們的《第五修正案》規(guī)定：“除非有大陪審團(tuán)的陳述或起訴，否則任何人不得被要求為死刑或其他以臭名昭著的罪行負(fù)責(zé)”。這項(xiàng)研究的糟糕程度超出了數(shù)據(jù)偏見的范疇，侵犯了我們的自由?！?/p>
也許作為一個機(jī)器學(xué)習(xí)社區(qū)需要先解決一個術(shù)語問題，以便我們可以更好地傳達(dá)算法偏見（取決于期望的結(jié)果可能是不期望的）與偏見的社會觀念之間的區(qū)別。 2
盡管篇幅很長，但這篇請?jiān)笗宄仃U明了圍繞ML公平性所討論的許多問題。
請?jiān)笗刂罚?a target="_blank" rel=nofollow>https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16
我們來簡單概覽一下這封請?jiān)笗?/p>
親愛的Springer Nature編輯委員會：
我們寫信給您，代表了各個技術(shù)、科學(xué)和人文領(lǐng)域（包括統(tǒng)計(jì)、機(jī)器學(xué)習(xí)和人工智能、法律、社會學(xué)、歷史、傳播研究和人類學(xué)）的專家研究人員和從業(yè)人員。我們共同對即將出版的研究論文“A Deep Neural Network Model to Predict Criminality Using Image Processing”深表關(guān)注。根據(jù)最近的消息，本文將在您的期刊“Springer Nature — Research Book Series: Transactions on Computational Science and Computational Intelligence”中發(fā)表。
我們敦促：
審核委員會將公開撤銷該特定研究的發(fā)表，并解釋用于評估的標(biāo)準(zhǔn)。
Springer Nature發(fā)表聲明，譴責(zé)使用刑事司法統(tǒng)計(jì)數(shù)據(jù)預(yù)測犯罪行為的做法，并承認(rèn)其過去在激勵有害學(xué)術(shù)方面的作用。
所有出版商今后都不要發(fā)表類似的研究。
社區(qū)組織者和黑人學(xué)者一直處于執(zhí)法部門對使用AI技術(shù)的抵制的最前沿，尤其側(cè)重于面部識別。然而，即使業(yè)界和研究院投入大量資源來建立用于機(jī)器學(xué)習(xí)和AI的“公平、負(fù)責(zé)和透明”的實(shí)踐，這些聲音仍被邊緣化。
機(jī)器學(xué)習(xí)的吸引力之一是它具有很高的延展性，可以使用任何可能的因果機(jī)制來合理化對預(yù)測或檢測有用的相關(guān)性。
然而，這些研究最終被表示和解釋的方式在很大程度上取決于數(shù)據(jù)科學(xué)的政治經(jīng)濟(jì)學(xué)及其使用環(huán)境。機(jī)器學(xué)習(xí)應(yīng)用不是中立的。機(jī)器學(xué)習(xí)技術(shù)和它們使用的數(shù)據(jù)集通常會繼承關(guān)于世界的主流文化信仰。這些技術(shù)反映了處于開發(fā)機(jī)器學(xué)習(xí)模型的特權(quán)位置的人們的動機(jī)和觀點(diǎn)，以及他們所依賴的數(shù)據(jù)。
對默認(rèn)假設(shè)的不加批判的接受不可避免地導(dǎo)致算法系統(tǒng)中的歧視性設(shè)計(jì)，重現(xiàn)使社會等級制度規(guī)范化并合法化針對邊緣化群體的暴力行為的觀念。
此類研究不需要研究人員故意的惡意或種族偏見。相反，它是任何領(lǐng)域的預(yù)期副產(chǎn)品，幾乎都是在“預(yù)測性能”的基礎(chǔ)上評估其研究質(zhì)量的。
看起來請?jiān)笗男Ч⒏鸵娪?。Springer Nature已經(jīng)在twitter上聲明不會發(fā)表該論文，不過還不清楚其會如何回應(yīng)請?jiān)笗木唧w要求。
不同于中國人臉識別技術(shù)普及的“潤物細(xì)無聲”，在種族主義的背景下，人臉識別在美國一直處于尷尬的境地。
2018 年的一個調(diào)查顯示，人臉識別針對黑人女性的錯誤率高達(dá) 21%-35%，而針對白人男性的錯誤率則低于 1%——這在美國可以說是非常政治不正確的。
IBM更是于今年6月8日宣布不再提供任何人臉識別和人臉分析軟件。
美國公民自由聯(lián)盟（American Civil Liberties Union，ACLU）稱人臉識別為 “可能是有史以來最危險的監(jiān)視技術(shù)”，并多次上書美國政府：要求亞馬遜停止向警方提供其旗下的“Rekognition”人臉識別技術(shù)。
在美國，黑人群體本身犯罪率更高。即使技術(shù)本身自稱無偏見，也不可能消除群體差異導(dǎo)致的社會偏見。如果“罪犯識別”技術(shù)在實(shí)際應(yīng)用中發(fā)現(xiàn)黑人比白人更可能被識別為罪犯，難免會像近期的George Floyd死亡事件那樣再次觸發(fā)美國種族沖突的敏感神經(jīng)。
其次，在算法準(zhǔn)確率上也存在爭議。據(jù)報道，亞馬遜的圖像識別 AI 系統(tǒng) “Rekognition” 曾將 28 名美國國會議員識別成了罪犯。而盡管這項(xiàng)“罪犯識別”研究聲稱有80%的準(zhǔn)確率，但是誰也不希望成為那20%，畢竟被誤識別為罪犯是非常嚴(yán)重的冒犯。
最后，“罪犯識別”并沒有成為系統(tǒng)的科學(xué)，人臉可能僅僅是非常片面的線索，在小樣本數(shù)據(jù)集上獲得再高的準(zhǔn)確率，也不能保證其在實(shí)踐應(yīng)用中的可靠性。
參考資料：
https://twitter.com/SpringerNature/status/1275477365196566528
https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
