上周剛面世的一項服務(wù)Genderify，號稱能通過AI分析姓名、用戶名或電郵地址來判斷某人性別，結(jié)果因為算法偏差實在離譜，在社交媒體上引起了廣泛關(guān)注。

我們來看看Genderify的一小部分“成績單”：

輸入“Meghan Smith”，評估結(jié)果為“男性：39.60%，女性：60.40%”；

但輸入“Dr.Meghan Smith”，評估就會變?yōu)椋骸澳行裕?5.90%，女性：24.10%”。

其他名字加上“Dr”，也會讓系統(tǒng)給出更偏向男性的結(jié)果。

有網(wǎng)友試著輸入了一些單詞或名人姓名，Genderify也表現(xiàn)得令人失望：

比如輸入“scientist”，評估結(jié)果為“男性：95.7%，女性：4.3%”；

輸入“Oprah Winfrey”（美國著名脫口秀女主持），評估結(jié)果為“男性：78.3%，女性：21.7%”；

Genderify的首席運營官Arevik Gasparyan是一名女性，但系統(tǒng)連自家高管都不認得，給出了“男性：91.2%，女性：8.8%”的結(jié)果。

群眾抗議情緒之強烈，已經(jīng)迫使Genderify徹底關(guān)閉了這項服務(wù)，網(wǎng)站現(xiàn)已脫機，其免費API也無法再訪問。

一位代表通過電子郵件向媒體回應(yīng)：“如果大家不想要，這樣的結(jié)局也許是公平的?！?/p>

盡管類似的性別偏見經(jīng)常出現(xiàn)在機器學(xué)習(xí)中，但Genderify這種“不過大腦”的程度似乎讓該領(lǐng)域的許多專家感到驚訝。Meredith Whittaker是紐約大學(xué) AI Now的聯(lián)合創(chuàng)始人，專注研究AI對社會造成的影響，她的反應(yīng)就非常典型：“科技圈的愚人節(jié)來了？這是一種干擾科技與司法世界的心理戰(zhàn)嗎？”

為什么Genderify會引發(fā)大規(guī)模吐槽？就因為它根據(jù)某人的名字對其性別做出假設(shè)？并非如此。業(yè)界指出，其實人類也會通過名字猜性別，有時也會在這個過程中犯錯誤，這就需要了解人們的自我認同感，思考對方希望得到怎樣的稱呼，才能降低冒犯對方的可能。

Genderify的問題在于，它自動化了這些假設(shè)，顯得太過“想當(dāng)然”了，加深了這個過程中的性別刻板印象。比如前文提到的，在名字前加Dr.的情況，意味著系統(tǒng)認為：如果你是醫(yī)生，那你大概率是個男人。

雖然創(chuàng)始人Arevik Gasparyan強調(diào)這是一個用于營銷的數(shù)據(jù)分析工具，但有觀點認為，它在特定的應(yīng)用方式和地點下，會出現(xiàn)潛在危害。

例如這項服務(wù)被集成到醫(yī)療聊天機器人中，它對用戶性別的假設(shè)，可能會導(dǎo)致聊天機器人發(fā)出誤導(dǎo)性的醫(yī)療建議。

用戶們對產(chǎn)品的性別歧視色彩表示擔(dān)憂，有提問稱：“如果我選擇了既不是男性也不是女性，你如何處理這個問題？你如何避免性別歧視？你是如何處理性別偏見的？”

對此，Gasparyan稱，服務(wù)是基于“已經(jīng)存在的姓名/性別數(shù)據(jù)庫”，公司也“正在積極尋求解決辦法，以改善跨性別者等群體的用戶體驗”，試圖將姓名/用戶名/電子郵件的概念與性別身份區(qū)分開來。

一位代表也通過電子郵件給出了較為詳細的回應(yīng)：

“我們明白，我們的模型永遠不會提供理想的結(jié)果，算法需要顯著改進。為了讓它更好地發(fā)揮作用，我們非常期待LGBTQ等群體的反饋，以協(xié)助我們盡可能地改進性別分析算法。我們的目標是建立一個自學(xué)習(xí)的人工智能，它將不會像任何現(xiàn)有的解決方案那樣帶有偏見。”

雷鋒網(wǎng)編譯，參考來源：

https://www.theverge.com/2020/7/29/21346310/ai-service-gender-verification-identification-genderify

https://baijiahao.baidu.com/s?id=1673625518588393349&wfr=spider&for=pc

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。