AI翻譯存在歧視?這里是我們的測試
長假期間,m.twshmhelmet.com,Twitter上有個(gè)消息火爆一時(shí)。
吶,就是下面這張圖了。
這張圖被當(dāng)做AI有歧視的證據(jù)。簡而言之,神經(jīng)網(wǎng)絡(luò)在背后提供支持的Google翻譯,在把一句性別中立的語言(此處是土耳其語)翻譯成英文時(shí),會(huì)出現(xiàn)非性別中立的情況;蛘哒f,Google翻譯會(huì)猜測主語的性別。
在這個(gè)案例中,庫卡機(jī)器人驅(qū)動(dòng)器維修,Google翻譯的結(jié)果是:
她是一個(gè)保姆
他是一個(gè)醫(yī)生
這條Twitter獲得了上萬的轉(zhuǎn)發(fā),也引發(fā)了本文作者JecelynYeen的注意。Jecelyn是馬拉西亞華人,所以她用馬來語和中文進(jìn)行了幾次測試,其中馬來語是性別中立的語言,而中文是混合的。
下面咱們看看她的測試。
馬來語測試
這是一個(gè)簡單的三級(jí)測試,測試對(duì)象是Google翻譯和微軟翻譯。
Level1:不交代語境
馬來語->英語
Google翻譯和微軟翻譯都給出同樣的結(jié)果,如圖所示:
Level2:交代語境
這次特意在前一句中交代了性別。不過沒什么用,測試結(jié)果同上。
Level3:句號(hào)換逗號(hào)
這次有一個(gè)微小的調(diào)整,兩個(gè)句子之間的連接,使用了逗號(hào),代替了句號(hào)。
結(jié)果顯示:Google翻譯更勝一籌,完美地翻譯對(duì)了主語的性別。
但是微軟翻譯表現(xiàn)不佳,第二句話還是沒有翻譯對(duì)。
中文測試
大多數(shù)情況下,中文的代詞一般都表明了性別,所以翻譯結(jié)果相對(duì)準(zhǔn)確。
測試結(jié)果略。
所以,這是個(gè)問題么?
人工智能(AI)存在性別偏見么?我覺得不是。AI從數(shù)據(jù)中學(xué)習(xí),給予人類設(shè)計(jì)的模型返回更符合邏輯的結(jié)果。所以,我認(rèn)為機(jī)器翻譯在統(tǒng)計(jì)學(xué)上是正確的。數(shù)據(jù)如下。
比方說上述測試中提到的程序員(Programmer)。來自StackOverflow今年的數(shù)據(jù)顯示,參與調(diào)查的開發(fā)者或程序員中有88.8%是男性。
還有護(hù)士(Nurse)。網(wǎng)站Minoritynurse的數(shù)據(jù)顯示,其上282萬注冊(cè)護(hù)士中,只有9.1%為男性。
從這個(gè)角度講,AI給出的翻譯結(jié)果是有道理的。
但對(duì)我來說,這是一個(gè)問題,是一個(gè)需要改進(jìn)的方面,庫卡機(jī)器人驅(qū)動(dòng)器維修,統(tǒng)計(jì)學(xué)上的正確并不意味著它是正確的。
那么如何改善?
坦白講我不知道。
CharlesWheelan在《赤裸裸的統(tǒng)計(jì)學(xué)》一書中,談到了統(tǒng)計(jì)歧視和理性歧視。他提到即便我們建了一種模型,能以80%的正確率識(shí)別出毒販,那還有20%無辜的人會(huì)被反復(fù)騷擾。我們有時(shí)計(jì)算正確,但卻導(dǎo)向了一個(gè)危險(xiǎn)的方向。