來源:MSN
作者:Shara Tibken
翻譯:W3Cschool
去年年底美國開始分發(fā) COVID-19 疫苗時,出現(xiàn)了一個重要問題:誰應(yīng)該優(yōu)先注射疫苗?許多醫(yī)療機構(gòu)和衛(wèi)生官員決定優(yōu)先給與感染者密切接觸的工作人員接種疫苗,包括醫(yī)護、安保人員。斯坦福大學(xué)做為該國最頂尖大學(xué)之一,建立了一種確定順序的算法。
讓計算機決定誰先接種疫苗的唯一問題是它的“非常復(fù)雜的算法”(事實證明根本不是很復(fù)雜)是建立在錯誤的假設(shè)和數(shù)據(jù)之上的。也就是說,該算法優(yōu)先考慮特定年齡的醫(yī)務(wù)人員,而不考慮許多年長的醫(yī)生沒有定期看病人的情況。斯坦福大學(xué)(Stanford Medicine)首批 COVID-19 疫苗的 5,000 劑疫苗中,只有七劑被分配一線駐地醫(yī)生。絕大多數(shù)被分配到了在家工作或與感染 COVID-19 的患者接觸很少的高級教師和醫(yī)生。斯坦福大學(xué)迅速取消了該算法,并為一線員工接種了疫苗。
斯坦福大學(xué)門診護理團隊主任蒂姆·莫里森(Tim Morrison)12月中旬在發(fā)布的 Twitter 視頻中說:“我們的算法,倫理學(xué)家和傳染病專家工作了幾個星期,使用年齡、高風(fēng)險的工作環(huán)境以及該環(huán)境中的陽性率... ... 等條件中,顯然沒有正確的工作”
斯坦福大學(xué)的疫苗崩潰只是算法有偏見的許多方式中的一個例子,隨著計算機程序取代人類決策者,這個問題變得越來越明顯。算法有望在沒有情感影響的情況下根據(jù)數(shù)據(jù)做出決策:可以更快、更公平、更準確地做出決策。然而,算法并不總是基于理想的數(shù)據(jù),這一缺點在進行生死攸關(guān)的決定(例如重要疫苗的分配)時會被放大。
根據(jù)加利福尼亞州奧克蘭市一家致力于種族和經(jīng)濟正義的非營利性機構(gòu) Greenlining Institute 周二發(fā)布的一份報告顯示:其影響甚至更為廣泛,因為計算機可以確定某人是否獲得房屋貸款,誰被雇用以及囚犯被關(guān)押的時間。Greenlining 首席執(zhí)行官黛布拉·戈爾·曼(Debra Gore-Mann)表示,算法通常會保留與人類決策者相同的種族,性別和收入水平偏差。
戈爾·曼在接受采訪時說:“您正在看到這些工具被用于刑事司法評估、住房評估、金融信貸、教育、求職。它變得如此普遍,以至于我們大多數(shù)人甚至都不知道正在進行某種自動化和數(shù)據(jù)評估。”
Greenlining 報告研究了設(shè)計不當?shù)乃惴ㄈ绾瓮{到加劇系統(tǒng)性種族主義、性別歧視和對低收入人群的偏見。由于這項技術(shù)是由人們創(chuàng)造和培訓(xùn)的,因此這些算法(無論是否有意)都可以重現(xiàn)歧視和偏見的模式,而人們通常不會意識到這種情況的發(fā)生。面部識別是被證明存在種族偏見的技術(shù)領(lǐng)域之一。健身帶一直在努力準確地測量有色人種的心率。
Greenlining 技術(shù)股權(quán)法律顧問 Vinhcent Le 說:“用于超目標全球廣告的相同技術(shù)也正用于向人們收取不同價格的產(chǎn)品,這些產(chǎn)品對于經(jīng)濟健康至關(guān)重要,例如抵押產(chǎn)品保險,以及不太重要的產(chǎn)品(例如鞋),” 。
在另一個示例中,Greenlining 標記了由 Optum Health 創(chuàng)建的算法,該算法可用于確定患者的醫(yī)療照顧優(yōu)先級。其中一個因素是病人在醫(yī)療費用上的花費,假設(shè)病情最嚴重的人在醫(yī)療保健上花費最多。僅僅使用這個參數(shù)不會考慮到那些沒有那么多錢的人有時不得不在支付房租和支付醫(yī)療賬單之間做出選擇,這會不成比例地傷害到黑人患者。
Optum Health 表示,健康服務(wù)提供者以這種方式測試了算法的使用,但最終沒有使用它來確定醫(yī)療服務(wù)。
Optum 在一份聲明中說:“這個算法沒有種族偏見。這個工具的設(shè)計目的是根據(jù)個別病人過去的醫(yī)療經(jīng)驗來預(yù)測未來可能產(chǎn)生的費用,并且在用于此目的時不會導(dǎo)致種族偏見——研究作者同意這一事實?!?/p>
沒有簡單的解決方法
Greenlining 為政府和公司提供了三種方法來確保技術(shù)更好。Greenlining 建議組織實行算法透明度和問責(zé)制;在有意義的情況下開發(fā)種族意識算法,并特別尋求將弱勢群體納入算法假設(shè)。
確保這種情況發(fā)生的責(zé)任,將落在立法者身上。
勒(Le)說:“(這份報告)的重要意義是樹立起開始監(jiān)管人工智能的政治意愿?!?
在加利福尼亞州,州議會正在考慮第 13 號議會法案,也被稱為 2021 年自動決策系統(tǒng)問責(zé)法案。它于 12 月 7 日推出,由 Greenlining 贊助,它將要求使用“自動決策系統(tǒng)“的企業(yè)測試其偏見及其對邊緣群體的影響。如果有影響,組織必須解釋,為什么歧視待遇不違法。勒說:“你可以區(qū)別對待別人,但如果是基于受保護的特征,比如種族、性別和年齡,那就是違法的?!?
2019 年 4 月,民主黨人新澤西州參議員科里 · 布克(Cory Booker)和俄勒岡州參議員羅恩 · 懷登(Ron Wyden),以及紐約州眾議員伊維特·D·克拉克(Yvette D. Clarke)。提出了算法問責(zé)法案,該法案要求公司研究和修正有缺陷的計算機算法,這些算法導(dǎo)致了不準確、不公平、偏見或歧視性的決定。一個月后,新澤西州引入了類似的算法責(zé)任法案。兩個法案都沒通過委員會。
勒說,如果加利福尼亞州的 AB13 通過,那將是美國第一個這樣的法律,但是它可能會失敗,因為它的范圍太廣了,因為它目前是書面的。相反,Greenlining 希望將法案的職責(zé)范圍縮小到首先關(guān)注政府創(chuàng)建的算法。希望該法案將為國家努力樹立榜樣。
勒說:“算法的大多數(shù)問題并不是因為人們對目標有偏見。他們只是在開發(fā)這些程序時走捷徑。就斯坦福疫苗計劃而言,算法開發(fā)人員沒有考慮到后果。 ”
Le補充說:“沒有人真的非常確定需要改變的所有事情。但是(我們)確實知道,當前的系統(tǒng)不能很好地處理AI。”