作為一家跨學(xué)科研究 AI 對(duì)社會(huì)、政治和倫理的影響的 AI 研究機(jī)構(gòu)，AI Now 研究所自創(chuàng)立以來(lái)的四年時(shí)間里，已發(fā)布三份年度報(bào)告，在去年的《AI Now Report 2018》中，該研究所對(duì)圍繞 2018 年人工智能的一連串技術(shù)丑聞的核心——問(wèn)責(zé)制進(jìn)行了回應(yīng)，并從該問(wèn)題出發(fā)，對(duì)包括監(jiān)控問(wèn)題，公平、偏見(jiàn)與歧視問(wèn)題以及倫理問(wèn)題在內(nèi)的其他相關(guān)問(wèn)題提出了解決提議，AI 科技評(píng)論也對(duì)該報(bào)告進(jìn)行了報(bào)道。

作為年度報(bào)告的前期預(yù)熱，AI Now 研究所也舉辦每年一屆的「AI Now 研討會(huì)」，邀請(qǐng)了跨學(xué)科的研究者來(lái)一同探討相關(guān)主題。日前，紐約大學(xué) AI Now 研究所舉辦的第四屆 AI Now 研討會(huì)上，邀請(qǐng)到了研究所的組織者以及相關(guān)領(lǐng)域的學(xué)者以及律師，聚焦于 AI 帶來(lái)的負(fù)面影響所引起的與日俱增的抵制之聲展開(kāi)了討論。

2019 年距離尾聲還有一段時(shí)日，在迎接 AI Now 研究所的年度報(bào)告之前，我們不妨先從今年的「AI Now 研討會(huì)」來(lái)一窺本年度 AI 對(duì)社會(huì)、政治和倫理帶來(lái)了哪些問(wèn)題和影響。

與往年一樣，AI Now 的聯(lián)合創(chuàng)始人 Kate Crawford 和 Meredith Whittaker 為該研討會(huì)做開(kāi)場(chǎng)致辭。在開(kāi)場(chǎng)致辭中，兩位創(chuàng)始人主要聚焦以下五個(gè)主題，簡(jiǎn)短地過(guò)去一年中人工智能領(lǐng)域出現(xiàn)的「反對(duì)」聲音：

• （1）人臉和情感識(shí)別； 
• （2）從「AI 偏見(jiàn)」到公正的轉(zhuǎn)變； 
• （3）城市、監(jiān)視、邊界； 
• （4）勞力、工會(huì)和 AI； 
• （5）AI 對(duì)氣候的影響。

AI 科技評(píng)論將兩位的致辭實(shí)錄編譯如下，并進(jìn)行了不改變?cè)獾膭h減。

一、人臉和情感識(shí)別

2019 這一年，企業(yè)和政府都在加大力度推廣人臉識(shí)別技術(shù)在公共住房、招聘和城市街道等場(chǎng)景中的應(yīng)用。目前，美國(guó)一些航空公司甚至采用人臉識(shí)別的登機(jī)方式而無(wú)需登機(jī)牌，它們表示這樣更加方便。

人臉識(shí)別的一個(gè)子類別——情感識(shí)別也得到了更加廣泛的使用，它通過(guò)解析面部的微表情來(lái)「讀取」人的內(nèi)在情緒。正如心理學(xué)家 Lisa Feldman Barret 在一份廣泛的調(diào)查報(bào)告所提到的，這種 AI 相貌學(xué)并沒(méi)有可靠的科學(xué)依據(jù)。然而，這種沒(méi)有可靠的科學(xué)依據(jù)的技術(shù)現(xiàn)在卻已經(jīng)用到了課堂和工作面試中，并且往往是在讓人們不知情的情況下使用。

例如，喬治城大學(xué)隱私和科技中心獲得的一份文件就曾揭露，F(xiàn)BI 和 ICE 在未經(jīng)個(gè)人同意或未經(jīng)州或聯(lián)邦立法機(jī)構(gòu)授權(quán)的情況下，一直在暗自訪問(wèn)駕駛執(zhí)照數(shù)據(jù)庫(kù)，并對(duì)數(shù)百萬(wàn)張照片進(jìn)行面部識(shí)別搜索。

而在今年，隨著美國(guó)公民自由聯(lián)盟（ACLU）的 Kade Crockford、羅切斯特理工學(xué)院的 Evan Selinger 和東北大學(xué)的 Woodrow Hertzog 等一眾組織者和學(xué)者呼吁對(duì)人臉識(shí)別進(jìn)行嚴(yán)格限制后，選民和立法者也開(kāi)始針對(duì)該問(wèn)題做出了一些舉措。第九巡回上訴法庭（The Ninth Circuit Court of Appeals）最近對(duì)將 Facebook 因未經(jīng)許可而對(duì)用戶的照片進(jìn)行面部識(shí)別的起訴案裁定為隱私侵犯。

在傳媒正義（Media Justice）等組織領(lǐng)導(dǎo)的運(yùn)動(dòng)下，舊金山于今年 5 月簽署了第一個(gè)人臉識(shí)別禁止法案，隨后又有另外兩個(gè)城市也相繼簽訂了該禁止法案。不久前，Bernie Sanders 民主黨總統(tǒng)候選人也曾承諾將在全國(guó)范圍內(nèi)推行該禁令。另外大部分音樂(lè)人也要求在音樂(lè)節(jié)上停止使用人臉識(shí)別技術(shù)，與此同時(shí)，現(xiàn)在還出了一部叫做《禁止生物識(shí)別屏障住房法》（No Biometric Barriers to Housing Act）的聯(lián)邦法案，旨在禁止在公共住房中使用人臉識(shí)別。
歐洲同樣也發(fā)生著此類抵制運(yùn)動(dòng)：英國(guó)議會(huì)委員會(huì)呼吁，在建立法律框架前要停止對(duì)人臉識(shí)別的試驗(yàn)；而布魯塞爾警方對(duì)這些人臉識(shí)別技術(shù)工具進(jìn)行測(cè)試的行為，近來(lái)也被視作是非法的。

當(dāng)然，要實(shí)現(xiàn)這些改變，我們還有很長(zhǎng)一段路要走。而現(xiàn)在我們需要明確的一點(diǎn)是，這并不屬于完善技術(shù)和消除偏見(jiàn)方面的問(wèn)題。鑒于被監(jiān)視、追蹤和逮捕的人存在種族、收入方面的差異，即便是再精準(zhǔn)的人臉識(shí)別技術(shù)也會(huì)帶來(lái)不同的危害。正如 Kate Crawford 最近在《自然》雜志上所寫(xiě)道的：消除系統(tǒng)的偏見(jiàn)并非 AI 的重點(diǎn)，這些系統(tǒng)「發(fā)生故障時(shí)會(huì)帶來(lái)危險(xiǎn)，順利工作時(shí)則會(huì)帶來(lái)危害」。

二、從「AI 偏見(jiàn)」到公正的轉(zhuǎn)變

今年，我們也看到了人工智能界的一項(xiàng)重要進(jìn)步：從狹隘地聚焦于從純技術(shù)層面對(duì) AI「去偏見(jiàn)」轉(zhuǎn)變到更實(shí)質(zhì)性地關(guān)注公正。

一定程度上，這也是由很多令人不安的事件所推動(dòng)的。

例如，密歇根州前州長(zhǎng) Rick Snyder 是一位技術(shù)主管，曾主導(dǎo)治理過(guò)「弗林特水危機(jī)」，也正是他決定安裝一個(gè)可用于整個(gè)州的自動(dòng)化決策系統(tǒng)——MiDAS。該系統(tǒng)設(shè)計(jì)的初衷就是用來(lái)自動(dòng)標(biāo)記出涉嫌福利欺詐的工人。為了削減福利開(kāi)支，該州安裝了 MiDAS 系統(tǒng)，整個(gè)欺詐檢測(cè)部門的人都遭解雇。然而，該系統(tǒng)最終被證明存在 93% 的錯(cuò)誤率——它錯(cuò)誤地檢測(cè)出 40,000 多名居民涉嫌福利欺詐，導(dǎo)致很多人面臨破產(chǎn)甚至自殺。值得一提的是，MiDAS 還只是一眾旨在縮減貧困人口的緊縮政策中的一個(gè)案例。

另外一個(gè)案例來(lái)自于 AI Now 的政策負(fù)責(zé)人 Rashida Richardson 所領(lǐng)導(dǎo)的研究，她研究了警察的日常工作與預(yù)測(cè)性警務(wù)軟件之間的關(guān)聯(lián)性。最終，她和她的團(tuán)隊(duì)發(fā)現(xiàn)，在美國(guó)多個(gè)警察部門中，預(yù)測(cè)性警務(wù)系統(tǒng)可能使用了來(lái)自存在種族主義和徇私舞弊的警察所留下的帶有誤導(dǎo)性的記錄。

顯而易見(jiàn)，在這種情況下，糾正系統(tǒng)的偏見(jiàn)的關(guān)鍵點(diǎn)不在于刪除數(shù)據(jù)集中的某一個(gè)或另一個(gè)變量，而是需要改變警察記錄數(shù)據(jù)的做法。

人權(quán)數(shù)據(jù)分析組（Human Rights Data Analysis Group）研究人員 Kristian Lum 的一項(xiàng)開(kāi)創(chuàng)性的工作——算法如何放大警務(wù)中的歧視性記錄，也表明了這一點(diǎn)。

來(lái)自普林斯頓大學(xué)的 Ruha Benjamin，最近出版兩本意義非凡的書(shū)：《追逐科技》（Race After Technology）和編輯本《迷人的科技》（Captivating Technology）。她與 Dorothy Roberts 、Alondra Nelson 等一眾學(xué)者強(qiáng)有力地研究了分類政治、如何利用種族來(lái)調(diào)整社會(huì)等級(jí)以及此類邏輯如何應(yīng)用到 AI 技術(shù)中。

Kate Crawford 和 AI Now 藝術(shù)家研究員 Trevor Paglen 最近還在他們的 Training Humans 展覽中審視了分類政治。該展覽是第一個(gè)著眼于用來(lái)創(chuàng)建機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練數(shù)據(jù)的大型藝術(shù)展，它研究了從 Woody Bledsoe 在1963 年所做的第一個(gè)實(shí)驗(yàn)到最著名和使用最廣泛的基準(zhǔn)集（例如 Wilded Labeled Faces 和 ImageNet）的 AI 訓(xùn)練集的歷史和邏輯。

該程序在 9 月份風(fēng)靡一時(shí)，成千上萬(wàn)的人在上面上傳了他們的照片以查看 ImageNet 如何對(duì)這些照片進(jìn)行分類。此事件具有重大意義。ImageNet 作為一個(gè)規(guī)范的目標(biāo)識(shí)別數(shù)據(jù)集，它在塑造 AI 的產(chǎn)業(yè)化方面比其他數(shù)據(jù)集更有潛力。

雖然 ImageNet 所做的一些分類很奇怪，甚至很滑稽，但數(shù)據(jù)集也囊括了極端問(wèn)題的分類，其中很多是與種族主義和婦女歧視相關(guān)的。Imagenet Roulette 則為人們了解 AI 系統(tǒng)如何分類這些極端問(wèn)題提供了一個(gè)界面，這實(shí)際上暴露出了 AI 系統(tǒng)在復(fù)雜和動(dòng)態(tài)世界場(chǎng)景中所做的分類工作的狹隘性和高度格式化。Kate Crawford 和 Trevor Paglen 在發(fā)表的一篇調(diào)查性文章中，揭開(kāi)了 AI 系統(tǒng)在多個(gè)基準(zhǔn)訓(xùn)練集上工作的面紗，進(jìn)而揭示了這些系統(tǒng)存在的政治性架構(gòu)。

這是為什么藝術(shù)與科研的結(jié)合有時(shí)會(huì)比單個(gè)學(xué)科能夠產(chǎn)生更大影響的另一個(gè)原因，這也促使我們考慮：由誰(shuí)來(lái)定義我們所屬的類別以及由此帶來(lái)的后果。

三、城市、監(jiān)視、邊界

能源、分類和控制問(wèn)題是今年美國(guó)在全國(guó)范圍內(nèi)大規(guī)模部署企業(yè)監(jiān)視系統(tǒng)的背景色。以亞馬遜的門鈴（Ring）為例，這就是一款監(jiān)控?cái)z像頭和門鈴系統(tǒng)，人們能夠用它來(lái) 24 小時(shí)監(jiān)控家和附近地區(qū)。

亞馬遜正在與 400 多個(gè)警察部門合作推廣這款門鈴，并推動(dòng)警察說(shuō)服當(dāng)?shù)孛癖妬?lái)購(gòu)買該系統(tǒng)，讓這些警察都變成有點(diǎn)像挨家挨戶上門推銷安防產(chǎn)品的銷售員了。



作為達(dá)成合作的一部分，亞馬遜能夠持續(xù)獲取視頻內(nèi)容；與此同時(shí)，警察也能夠訪問(wèn)監(jiān)控視頻以隨時(shí)調(diào)用。亞馬遜目前已經(jīng)對(duì)此申請(qǐng)了人臉識(shí)別專利，暗示他們具備將視頻中的人臉與「可疑人員數(shù)據(jù)庫(kù)」進(jìn)行比對(duì)從而有效地在全國(guó)范圍內(nèi)建立私有化的家庭監(jiān)控系統(tǒng)的能力。

但是這款門鈴僅是更嚴(yán)峻的監(jiān)控問(wèn)題的一個(gè)部分。正如 Burku Baykurt、Molly Sauter 和 AI Now 研究員 Ben Green 等學(xué)者所說(shuō)的，「智慧城市」這一科技烏托邦式的言論，正在掩蓋更深層次的不公正和不平等問(wèn)題。

如今，居民們也開(kāi)始意識(shí)到這個(gè)問(wèn)題。就在 8 月份，圣地亞哥居民就對(duì)安裝「智能」燈柱進(jìn)行了抵制；就在同一時(shí)間，香港居民也對(duì)「智能」燈柱進(jìn)行抵制。

今年 6 月，紐約州洛克波特市的學(xué)生和家長(zhǎng)對(duì)學(xué)校使用人類識(shí)別系統(tǒng)進(jìn)行抵制，這種人臉識(shí)別系統(tǒng)能夠讓該地區(qū)隨時(shí)追蹤和定位所有學(xué)生或老師的位置。現(xiàn)在，學(xué)校已暫停使用該系統(tǒng)。

而在 2 月份，在紐約一個(gè)大型聯(lián)合組織的施壓下，亞馬遜廢置了其在皇后區(qū)的第二個(gè)總部。組織者們強(qiáng)調(diào)，紐約不僅給亞馬遜提供了豐厚的激勵(lì)政策，還給其勞動(dòng)者帶來(lái)了工作機(jī)會(huì)以及人臉識(shí)別技術(shù)部署及與 ICE 的簽訂合同的好處。這也給我們敲了一記警鐘：這些抵制活動(dòng)其實(shí)是由多重問(wèn)題引發(fā)的——尤其是當(dāng)這些科技公司能夠從不同的部門攝取利益時(shí)。

而最不負(fù)責(zé)任地濫用這些監(jiān)控工具的地區(qū)之一就是美國(guó)南部邊境，ICE、海關(guān)和邊境巡邏隊(duì)都在部署這類 AI 系統(tǒng)。
目前，有 52000 名移民被關(guān)在監(jiān)獄、拘留所以及其他限制人身自由的地方，40000 名無(wú)家可歸的人在靠近墨西哥的邊境等著提出庇護(hù)申請(qǐng)。在過(guò)去的一年中，已經(jīng)有 7 名兒童在 ICE 的拘留中死亡，與此同時(shí)，還有許多兒童面臨食物不足和醫(yī)療資源匱乏的問(wèn)題。這些正在發(fā)生的令人驚心的現(xiàn)狀，已無(wú)法用語(yǔ)言來(lái)形容。

根據(jù)宣傳組織 Mijente 的報(bào)告，我們知道亞馬遜和 Palantir 這樣的公司正在為 ICE 提供驅(qū)逐難民出境的引擎系統(tǒng)。而為了反抗，已經(jīng)有來(lái)自十一所大學(xué)的超過(guò) 2000 名學(xué)生簽署了拒絕與 Palantir 合作的保證書(shū)。與此同時(shí)，已經(jīng)與 ICE 簽約合作的科技公司總部幾乎每周都有抵制活動(dòng)。

四、勞工，工會(huì)和 AI 

當(dāng)然，當(dāng)我們審視到 AI 領(lǐng)域的多樣性問(wèn)題日益加劇時(shí)，種族、階級(jí)和性別等方面的結(jié)構(gòu)性歧視問(wèn)題也在暴露無(wú)遺。
4 月，AI Now 發(fā)布了由博士后 Sarah Myers West 領(lǐng)導(dǎo)開(kāi)發(fā)的歧視系統(tǒng)（Discriminate Systems），這項(xiàng)研究體現(xiàn)了 AI 內(nèi)在的歧視性文化和 AI 系統(tǒng)中嵌入的偏見(jiàn)及歪曲事實(shí)之間的反饋回路。這項(xiàng)發(fā)現(xiàn)令人震驚。

正如 AI 行業(yè)將自己標(biāo)榜為財(cái)富和權(quán)力的紐帶一樣，AI 也正在變得更日益同質(zhì)化。顯而易見(jiàn)，AI 整個(gè)領(lǐng)域存在一個(gè)普遍的問(wèn)題。

但是，也有人不斷呼吁求變。爆料人 Signe Swenson 和記者 Ronan Farrow 曾推動(dòng)揭示了 MIT 將地位和金錢置于女性安全之上的籌款文化。最早要求問(wèn)責(zé)的人之一是來(lái)自肯尼亞的研究生 Arwa Mboya。她討要公道的做法，與從前沒(méi)有制度性權(quán)利的有色人種婦女為爭(zhēng)取權(quán)利發(fā)聲的方式非常相像，成為該事件的破曉之聲。當(dāng)然，MIT 并非個(gè)例。

從谷歌罷工到 Riot game，再到微軟工人與 CEO 當(dāng)面「對(duì)質(zhì)」，我們已經(jīng)看過(guò)了多家科技公司發(fā)聲的一系列罷工和抵制，他們的要求無(wú)一例外：消除工作中的種族和性別不平等。

或許大家都知道，今年早些時(shí)候，AI Now 聯(lián)合創(chuàng)始人 Meredith Whittaker 離開(kāi)了谷歌。當(dāng)時(shí)，她對(duì)行業(yè)的發(fā)展方向越發(fā)感到震驚：事情正在變得更糟，而非更好。因此，她和她的同事們開(kāi)始圍繞工作場(chǎng)所中 AI 的負(fù)面應(yīng)用和濫用進(jìn)行梳理，其他老師和研究者也發(fā)揮了集體力量為他們提供了寶貴的意見(jiàn)。

另外，AI Now 的研究和許多其他學(xué)者的研究也為這項(xiàng)梳理工作提供了信息，而這項(xiàng)梳理工作也為政治行動(dòng)和組織提供了寶貴的指導(dǎo)。在此過(guò)程中，科技工作者發(fā)起的運(yùn)動(dòng)也在增多，其中多數(shù)運(yùn)動(dòng)取得了勝利，并為那些敢于站出來(lái)說(shuō)話的抵制者積累了一些經(jīng)驗(yàn)。

合同工是這一事件的核心人物，他們是科技公司中最早組織抵制活動(dòng)并為此類活動(dòng)鋪路的群體之一。他們?cè)诳萍脊镜膭趧?dòng)力中占了一半以上的比重，但是沒(méi)有得到全面的就業(yè)保障，并且收入通常只能勉強(qiáng)維持生計(jì)。Lilly Irani、Sarah Roberts、 Jessica Bruder 以及 Mary Gray 等學(xué)者的工作，有助于引起這些「影子勞動(dòng)力」對(duì)此方面的關(guān)注。

用于員工管理的 AI 平臺(tái)也是一個(gè)日益嚴(yán)重的問(wèn)題。從 Uber 到亞馬遜的倉(cāng)庫(kù)，這些巨型自動(dòng)化平臺(tái)指揮員工工作、設(shè)定績(jī)效目標(biāo)并決定他們的工資，這就讓員工完全受制于 AI。

例如，在今年早些時(shí)候，Uber 在沒(méi)有任何解釋或警告的情況下，通過(guò)對(duì)其平臺(tái)更新暗自大幅削減了員工的工資。與此同時(shí)，外賣公司 Door Dash 被曝，毫不夸張地說(shuō)——竊取了用戶以為存在了應(yīng)用程序上的小費(fèi)。

慶幸的是，我們也看到這些員工取得了一些重大勝利。例如 CA 的 Rideshare 司機(jī)在 AB-5 法中取得了巨大勝利，這項(xiàng)法案要求基于應(yīng)用程序的公司向司機(jī)們提供全面的就業(yè)保障。對(duì)于這些員工而言，這為其現(xiàn)狀帶來(lái)了里程碑式的改變。



在美國(guó)東岸，Bhairavi Desai 正領(lǐng)導(dǎo)著她在 1998 年創(chuàng)辦的紐約出租車從業(yè)者聯(lián)盟（New York Taxi Workers Alliance）開(kāi)展相關(guān)抵制活動(dòng)，目前該組織成員已超過(guò) 21,000 人。她領(lǐng)導(dǎo)的首次抵制活動(dòng)之一，在與共乘公司的對(duì)抗中贏得了勝利。

五、AI 對(duì)氣候的影響

而所有這些問(wèn)題產(chǎn)生的背景都是氣候。需要整個(gè)地球的資源來(lái)進(jìn)行的運(yùn)算，也會(huì)對(duì)整個(gè)地球產(chǎn)生影響。

AI 極度耗費(fèi)能源，并消耗了大量自然資源。在今年早些時(shí)候，來(lái)自阿姆赫斯特的研究員 Emma Strubell 發(fā)表了一篇論文，揭示了訓(xùn)練 AI 系統(tǒng)所造成的大量碳排放。她的團(tuán)隊(duì)表明，僅創(chuàng)建一個(gè)用于自然語(yǔ)言處理的 AI 模型，就可以排放多達(dá) 600000 磅的二氧化碳，相當(dāng)于紐約和北京之間 125 架往返航班所產(chǎn)生的二氧化碳。

大型 AI 的碳排放，往往就暗藏于諸如「云」此類的抽象產(chǎn)品。實(shí)際上，據(jù)估計(jì)，世界上的計(jì)算基礎(chǔ)設(shè)施的碳排放量與航空業(yè)差不多，在全球碳排放總量占很大比重。

目前，針對(duì)該問(wèn)題的抵制活動(dòng)也在增多。就在本月，我們看到了空前的「跨技術(shù)部門員工行動(dòng)」，他們都在為氣候問(wèn)題抗?fàn)帯?br />
他們要求科技巨頭到 2030 年實(shí)現(xiàn)零碳排放量，與燃料公司實(shí)現(xiàn)零合作，并且要求這些公司不再部署引發(fā)氣候問(wèn)題的 AI 技術(shù)。

與此同時(shí)，我們也看到了大家對(duì)于 AI 的使用邊界以及氣候正義運(yùn)動(dòng)的共同關(guān)注。

總結(jié)：與日劇增的抵制之聲 

我們可以看到的是，一股逐漸增強(qiáng)的抵制浪潮席卷而來(lái)，從抵制「人臉識(shí)別必不可少」的言論到拒絕在家庭和城市各個(gè)空間中安裝追蹤技術(shù)：大量相關(guān)的抵制活動(dòng)正在開(kāi)展中。

顯而易見(jiàn)的是，AI 引發(fā)的主要問(wèn)題是社會(huì)、文化和政治問(wèn)題，而非技術(shù)問(wèn)題。并且這些問(wèn)題——從刑事司法到工人權(quán)利，再到種族和兩性平等，都有悠久且難以打破的歷史淵源。這就意味著，我們這些對(duì) AI 的影響有所擔(dān)憂的人，需要找出已針對(duì)這些問(wèn)題所做的相關(guān)工作并進(jìn)一步開(kāi)展，同時(shí)還要了解曾經(jīng)為解決這些問(wèn)題開(kāi)辟了道路的成果的歷史。

定格在 2019 年的這些抵制之聲，也提醒我們：現(xiàn)在還有一扇窗的機(jī)會(huì)來(lái)決定哪些類型的 AI 是我們能夠接受的，以及如何讓 AI 自身負(fù)起責(zé)任。

來(lái)源 | 雷鋒網(wǎng)