糾正算法的偏見,究竟是要與機器斗還是與人斗?
編輯導語:我們生活在算法時代,一方面,技術的發(fā)展使得算法進入到更深層次的決策領域,對我們的生活也產生著重要影響;另一方面,還存在著一個我們不容忽視的問題——算法偏見。
Joy Buolamwini是一位加納裔科學家。一次,在做一項涉及面部識別軟件的作業(yè)時,她發(fā)現(xiàn),算法無法識別她的臉——除非她戴上白色面具。
這是Netflix最近上線的紀錄片《編碼偏見》中的一幕。此外,這部關于算法偏見的紀錄片還呈現(xiàn)了廣告、招聘、金融服務、警務和其他許多領域中,算法對社會現(xiàn)有種族、階級和性別偏見不同程度的延續(xù)。
受此啟發(fā),Joy Buolamwini測試了許多面部識別商用軟件發(fā)現(xiàn),白人男性性別被正確識別的概率高達99%。隨著膚色變暗,錯誤率也呈指數(shù)增長,近35%黑人女性無法被正確識別。
2020年,在國內,《外賣騎手,困在系統(tǒng)里》一文引發(fā)廣泛討論,焦點指向外賣平臺的算法系統(tǒng)。技術的進步改善了生活的方方面面,但問題也逐漸浮現(xiàn),人們不再相信算法決策是完全公平的。在逐漸被AI等智能技術包圍的時代,算法偏見(algorithm bias)逐漸成為重要的信息倫理問題,乃至社會議題。
本期全媒派將從典型的算法偏見表現(xiàn)說起,分析偏見如何通過算法呈現(xiàn)到現(xiàn)實生活,再從現(xiàn)實出發(fā),介紹科技公司在技術和操縱者層面,對糾正算法偏見可以做的努力。
一、隨處可見的算法偏見
去年,杜克大學科學家發(fā)表能夠將模糊照片清晰化的算法PULSE。不過,美國前總統(tǒng)奧巴馬的模糊照片經處理后,生成的卻是一張清晰的白人面孔。
圖片來源:Twitter/ @Chicken3gg
這被視為算法偏見的典型案例。算法偏見,是在信息的生產、分發(fā)及核查的過程中對用戶造成的非中立立場影響,從而導致片面、失實等信息觀念的傳播?,F(xiàn)實生活中,算法偏見可能發(fā)生在每個人身上。
清華大學新聞與傳播學院智媒研究中心在《算法治理與發(fā)展:以人為本,科技向善》報告中,從領域和對象出發(fā),將算法偏見的表現(xiàn)分為有損群體包容性的偏見、有損群體公平性的偏見及有損個體利益的偏見。[1]
1. 有損包容性
針對算法偏見的討論,多數(shù)與種族、性別等指向不同群體的因素相關。這類偏見展現(xiàn)的,是算法對不同群體的包容度不足——不同膚色、特定環(huán)境下的弱勢群體或女性,容易成為被算法忽視的對象。
開頭Joy Buolamwini的例子,就是這類偏見的一種表現(xiàn)。有感于此,Joy發(fā)起了一項研究,收集來自非洲和歐洲共6個國家的1270張人臉照片,測試了IBM、微軟、曠視3家公司的人臉識別產品,結果顯示都存在不同程度的女性和深色人種“歧視”。
類似的事情時有發(fā)生。2015年,Google Photos曾經把兩個深膚色的人標記為“大猩猩”。
到了2018年,《連線》雜志對相冊中4萬多張動物圖片測試后發(fā)現(xiàn),谷歌沒有完全修復這個漏洞,只是不再將任何圖片標記為大猩猩。疫情期間,谷歌旗下服務Google Vision Cloud曾經將手持測溫計的深膚色人員圖像標記為“槍”,而相同條件下的淺膚色人員圖像,則被標記為“電子設備”。
去年,有用戶指出,Twitter的圖像裁剪算法存在種族和性別偏見。當用戶在查看預覽推文呈現(xiàn)的縮略圖區(qū)域時,如果一張照片上有不同膚色人種,算法會更突出淺膚色的人像區(qū)域。
圖像識別之外,頻繁、深度使用語音識別、文字識別技術的科技公司,也常在這上面“失誤”。2015年的一個調查發(fā)現(xiàn),谷歌助手、蘋果Siri和亞馬遜的Alexa對美國口音、印度口音和中國口音的英語識別準確率并不一致。
2. 預測、決策不公
除了種族、性別和年齡等人類屬性方面的偏見,算法也在消費、就業(yè)和犯罪風險檢測等應用場景方面表現(xiàn)出偏見。[2]這種偏見最直接的影響,就是可能導致預測、決策的不公,造成對群體公平性的損害。
最常見的一類是招聘偏見。路透社曾在2018年報道,亞馬遜設計的AI招聘算法中暗含對女性求職者的偏見。
當讀取到帶有“women”的相關詞,算法會降低簡歷的權重。比如,當簡歷中出現(xiàn)“女子象棋俱樂部隊長”或“女子學院”這樣的詞,算法會直接對求職者作降級處理。亞馬遜最終關閉了這個招聘算法。
而當算法被用于招聘面試,分析應聘者肢體語言、眼神活動等更細致的維度時,面試過程中的一舉一動,都不得不謹小慎微。這些工具可以幫助企業(yè)提高效率、節(jié)省開支,但也偶有偏見。
被高盛、聯(lián)合利華等企業(yè)普遍采用的AI面試工具HireVue,可能會分不清皺眉是因為在思考問題,還是情緒不佳(暗示性格易怒)。[3]
犯罪領域中人臉識別算法的偏見也常導致不公。2016年,新聞機構ProPublica調查了美國各州政府用來評估被告人再犯罪風險的COMPAS算法,發(fā)現(xiàn)黑人假釋候選人更容易被評為高風險。在美國,不止一次出現(xiàn)黑人或少數(shù)族裔因為算法原因被錯誤逮捕的事情。
除了司法、就業(yè),當下生活中,算法參與決策的領域還包括金融、醫(yī)療、消費等,算法偏見的范圍或許也比想象中廣。
3. 威脅個體利益
包容性的降低和公平性的損耗,必然影響個體利益。
例如,谷歌的PageRank的算法能評價網絡鏈接的重要性,對網頁進行排序。在Google Shopping里,谷歌曾暗暗將自己的商品置于網頁排序中的顯眼位置。[4]這影響了用戶的消費選擇。
在日常生活中,可能不少人都有過這樣的體驗:在一些網絡平臺消費的時候,同時同地同樣的消費,其他人的費用可能比自己低。通過記錄分析消費者的消費痕跡,來對不同消費者差別定價,這種“算法殺熟”也可以被視作一種算法偏見。
二、糾正算法偏見,科技公司怎么做?
當算法偏見越來越成為無法回避的技術、倫理和社會問題時,糾正偏見也就成為解決問題的重點。作為規(guī)則設計者、制定者和參與者的科技公司,也不得不主動做出回應。
糾正偏見,先要知道偏見為何發(fā)生。
人工智能專家、AI公司Another Brain首席執(zhí)行官Bruno指出:“人工智能算法存在三種主要的偏差來源:訓練數(shù)據集,讓算法學習我們想要的東西,以及AI算法本身的原理。”也就是說,算法的偏見來源于數(shù)據的紕漏、設計者的偏見,以及人機交互或算法本身的不足。
目前來看,科技公司糾正算法偏見,主要也是從算法的數(shù)據技術層面以及算法操縱者的偏見等方向來行動。
1. 算法技術層面
近幾年,不少公司都發(fā)布了用來檢查算法偏差的工具。
2018年5月,F(xiàn)acebook推出Fairness Flow,當算法根據一個人的種族、性別或年齡做出了不公的判斷,它會自動發(fā)出警告來提醒。之后,谷歌在其開源網頁中推出了工具What-If,幫助開發(fā)者檢測算法公平性。[5]
也在同年,IBM推出AI Fairness 360開源工具包,提供超30個公平性指標、9個偏差緩解算法,用于檢查在信用評分、預測醫(yī)療支出和面部圖像性別分類等不同場景中的算法偏見,還會推薦改進的方法,比如算法調整或數(shù)據平衡。
去年8月,微軟旗下的領英推出公平工具包(LiFT),可以對數(shù)據集的屬性(如種族和性別構成)做分析,并將結果與算法結果來比較,進而檢測公平性。
如果數(shù)據集本身有偏見,那顯然,用數(shù)據集訓練出的算法也很難客觀。因此,不少舉措也關注數(shù)據的修訂和擴展。2018年,微軟與專家合作修訂、擴展了用于訓練其面部識別算法Face API的數(shù)據集。在調整膚色、性別和年齡等在數(shù)據集中的占比并改進了分類器之后,算法在膚色較深的男性、女性間的識別錯誤率降低了20倍,女性識別誤差率降低了9倍。
同樣旨在提供檢測、幫助改善數(shù)據,F(xiàn)acebook在今年4月也有新動向——公開名為Casual Conversations的數(shù)據集幫助研究人員評估潛在算法偏差。這個數(shù)據集的特別之處在于,讓人們自己提供年齡和性別來標注,而不是由第三方或計算機系統(tǒng)估計。
Facebook還為數(shù)據集招募了訓練有素的注釋員,來確定參與者的皮膚類型。數(shù)據集還標記了視頻的環(huán)境光照條件,幫助系統(tǒng)測量低光照條件下的膚色。
前不久,Twitter也宣布了一項“負責任的機器學習”新計劃,研究平臺采用算法的公平性。內容之一,就是由來自公司內部的數(shù)據科學家和工程師,研究Twitter對機器學習的使用如何導致算法偏差,并評估其算法可能造成的“無意傷害”,再將研究結果公開。
Twitter首席執(zhí)行官Jack Dorsey曾表示,希望創(chuàng)建一個算法市場,類似應用商店形式,讓用戶能夠控制自己使用的算法。
2. 算法操縱者層面
對于算法偏見,常見的一種看法是,AI決策依賴于對人類決策的學習,因此,機器偏見其實是對社會傳統(tǒng)偏見的投射。所以,除了技術層面改善數(shù)據集、打標等機器學習的環(huán)節(jié)外,更需要針對算法背后的人,以及公司的偏見做出限制。在這方面,除了外部的限制和規(guī)范,科技公司自己也有行動。
目前,不少大型科技公司都發(fā)布了人工智能的應用原則,其中都有涉及偏見治理的部分。
2016年,微軟、谷歌和Facebook等聯(lián)合成立非營利人工智能合作組織Partnership on AI。2017年,微軟設立人工智能與道德標準委員(AETHER)來落實AI倫理問題,稱未來推出的每個人工智能產品都要經過道德倫理審查。
也有委員會、聯(lián)合組織之外的措施。比如,谷歌推出Model Cards功能,對采用的算法進行解釋,告知具體的優(yōu)點和局限性。
對Face Detection算法的部分解釋。圖片來源:Model Cards主頁公開信息
2020年,喬治·弗洛伊德之死在美掀起以“BLM(Black Lives Matter)”為口號的反種族歧視運動的同時,針對科技公司算法偏見中種族歧視的聲討也愈發(fā)激烈。根據《華爾街日報》報道,F(xiàn)acebook與Instagram都為此組建了相應的公平與包容團隊,負責調查美國黑人、西班牙裔和其他少數(shù)族裔用戶受公司算法的影響,并將其與對白人用戶的影響進行對比。
同樣在6月,IBM宣布不再向警方提供人臉識別技術,原因是“反對將技術用于種族歧視和大規(guī)模監(jiān)視”,亞馬遜和微軟相繼發(fā)表類似聲明。長遠來看,這是科技公司在技術和偏見之間需要做出衡量、承擔社會責任的縮影。
還有一種意見是,為了克服可能的偏見,企業(yè)需要更多樣化的AI人才。如若程序員、工程師的構成本身就不多樣,甚至有性別、種族偏見,這些偏見也很容易被傳遞到其開發(fā)的算法中。
不過,科技公司的算法糾偏路也不是一帆風順。大多時候,科技公司主動做出行動,是出于改善業(yè)務、維護企業(yè)形象、承擔社會責任的考量,也是一種在公眾、政府和其他組織監(jiān)督下的“權衡選擇”。若糾偏會嚴重損害企業(yè)利益,企業(yè)是否要做、怎么做,就未可知了。
歸根結底,當我們在說算法偏見的時候,依然要考慮那個核心問題——算法背后是人,算法偏見背后是人的偏見。正如開頭案例中的MIT研究員Joy所說,“人工智能是基于數(shù)據的,而數(shù)據是我們歷史的反映?!痹谂u算法的過程中,科技公司或許不該被安放在絕對的對立面,至少,它們的舉措也是糾正算法偏見、抵達公正的一部分。
回到真實社會,許多偏見仍然根深蒂固,但這并不意味著袖手旁觀。在能力之內讓數(shù)字世界朝向更公平、更能依靠的方向發(fā)展,對于社會、個體,以及有重要影響力的公司來說,都是責任。
參考鏈接:
- 清華大學新聞與傳播學院智媒研究中心:《算法治理與發(fā)展:以人為本,科技向善》
- 張夢,陳昌鳳.智媒研究綜述:人工智能在新聞業(yè)中的應用及其倫理反思[J].全球傳媒學刊,2021,8(01):63-92.
- 騰訊研究院:算法偏見:看不見的“裁決者”
- 清華大學新聞與傳播學院智媒研究中心:《算法治理與發(fā)展:以人為本,科技向善》
- 騰訊研究院:從性別歧視到招聘不公,如何讓AI公平待人?| 算法偏見(下)
- https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
- https://engineering.linkedin.com/blog/2020/lift-addressing-bias-in-large-scale-ai-applications
- https://www.theverge.com/2021/4/15/22385563/twitter-algorithms-machine-learning-bias
- https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/
- https://www.wsj.com/articles/facebook-creates-teams-to-study-racial-bias-on-its-platforms-11595362939?mod=hp_lista_pos1
- https://www.washingtonpost.com/opinions/2018/12/17/why-your-ai-might-be-racist/
- https://venturebeat.com/2018/12/17/geoffrey-hinton-and-demis-hassabis-agi-is-nowhere-close-to-being-a-reality/
- https://www.nytimes.com/2021/03/15/technology/artificial-intelligence-google-bias.html
作者:yuri?,公眾號:全媒派(ID:quanmeipai)
本文由 @全媒派 原創(chuàng)發(fā)布于人人都是產品經理。未經許可,禁止轉載
題圖來自Unsplash,基于CC0協(xié)議
很有啟發(fā)
算法基于數(shù)據分析的,數(shù)據出現(xiàn)偏見導致算法出現(xiàn)偏見,這可能就是上梁不正下梁歪吧