
當(dāng)前位置:首頁 > 資訊 > 社區(qū)動(dòng)態(tài) >
下面兩張圖中,同樣是添加涂裝的汽車,人工智能模型卻會(huì)將右圖識(shí)別成老鼠,難道是貼紙材料暗藏玄機(jī)?
[1] Wang J, Liu A, Yin Z, et al. Dual attention suppression attack: Generate adversarial camouflage in physical world[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8565-8574.
對(duì)人眼來說,這兩張圖都是普通的添加涂裝的車輛。但事實(shí)上,左邊這張圖中車上如涂鴉般的紋理,是人為精心設(shè)計(jì)出的對(duì)抗紋理,這種紋理導(dǎo)致一個(gè)普通的人工智能模型將道路上的車輛誤識(shí)別為其他物體。
像這種直接在物體上增加不影響人類識(shí)別的紋理,使AI模型接受并做出錯(cuò)誤的判斷的攻擊手段,就是物理世界中對(duì)深度神經(jīng)網(wǎng)絡(luò)最常用的對(duì)抗攻擊方法之一。
這種看上去像涂鴉的對(duì)抗攻擊方法雖然成本低廉,但危害可不小。目前,AI模型已經(jīng)開始應(yīng)用于自動(dòng)駕駛領(lǐng)域,如果因?yàn)閷?duì)抗攻擊,自動(dòng)駕駛汽車誤將紅燈識(shí)別為綠燈,將路障識(shí)別為可通行標(biāo)志,甚至無法檢測(cè)到前方的行人與汽車,后果將不堪設(shè)想。
構(gòu)建安全、魯棒的AI模型,促使其能夠應(yīng)對(duì)物理世界場景下的對(duì)抗攻擊,在人工智能領(lǐng)域日趨重要。
然而,當(dāng)前很多AI模型是在封閉數(shù)據(jù)集下進(jìn)行訓(xùn)練,無法適應(yīng)開放世界場景,多樣性的噪聲與對(duì)抗補(bǔ)丁數(shù)據(jù)將會(huì)給模型案例及魯棒性帶來極大挑戰(zhàn)。
為了加速物理世界自動(dòng)駕駛場景下的魯棒模型研究,推動(dòng)新的以數(shù)據(jù)為中心的算法開發(fā),北京航空航天大學(xué)聯(lián)合商湯科技、合肥綜合性國家科學(xué)中心數(shù)據(jù)空間研究院,舉辦面向物理開放場景的車輛目標(biāo)檢測(cè)安全挑戰(zhàn)賽——Vehicle Detection in the Physical-World。本次大賽由OpenI啟智社區(qū)提供算力資源支撐選手們完成比賽。
北航劉祥龍教授團(tuán)隊(duì)多年來深耕人工智能安全領(lǐng)域,不斷探索可信賴人工智能前沿技術(shù),在對(duì)抗攻防、模型評(píng)測(cè)和可解釋理論方面成果豐碩,在國內(nèi)外均有一定影響力。
本次大賽依托CVPR 2023的workshop“The 3rd Workshop of Adversarial Machine Learning on Computer Vision: Art of Robustness”展開,希望鼓勵(lì)研究者開發(fā)面向物理世界的魯棒檢測(cè)算法,以自動(dòng)駕駛作為典型應(yīng)用場景,在復(fù)雜的真實(shí)世界場景及多樣化的對(duì)抗攻擊算法等因素下,探究魯棒模型的生產(chǎn)方式,促進(jìn)魯棒檢測(cè)模型的發(fā)展。
此外,比賽獲獎(jiǎng)隊(duì)伍還將受邀在workshop中做分享,講解自己的技術(shù)方案。大賽已經(jīng)正式啟動(dòng),查看文末網(wǎng)址,即刻報(bào)名參與。
這次的魯棒車輛檢測(cè)比賽分為兩個(gè)階段。
Phase 1:初級(jí)對(duì)抗環(huán)境車輛檢測(cè)
初賽階段,比賽會(huì)分別釋放訓(xùn)練集和測(cè)試集,參賽者可以使用該階段釋放的訓(xùn)練集以及其他任何訓(xùn)練集訓(xùn)練魯棒目標(biāo)檢測(cè)模型。訓(xùn)練集為正常的檢測(cè)數(shù)據(jù),測(cè)試集包含正常檢測(cè)數(shù)據(jù)和攻擊樣本。
第一賽道的攻擊樣本包括5個(gè)基礎(chǔ)場景、4種取樣角度以及3種天氣下,通過對(duì)抗攻擊產(chǎn)生的對(duì)抗樣本。選手需要得到足夠魯棒的檢測(cè)模型,能夠?qū)Ω蓛魳颖竞蛯?duì)抗樣本中的車輛進(jìn)行正確檢測(cè)。初賽階段選手需要將給定測(cè)試集的預(yù)測(cè)結(jié)果提交。
Phase 2:高級(jí)對(duì)抗環(huán)境車輛檢測(cè)
復(fù)賽階段,參賽者同樣可以使用該階段釋放的訓(xùn)練集與其他任意訓(xùn)練集訓(xùn)練魯棒模型。但與初賽不同的是,參賽者需要提交訓(xùn)練好的原始模型,平臺(tái)將對(duì)提交的模型進(jìn)行評(píng)測(cè)。數(shù)據(jù)集的構(gòu)成上,初賽共包含100+種細(xì)分場景,復(fù)賽則包含400+類,對(duì)于所訓(xùn)練模型的泛化檢測(cè)能力有著更高的要求。
▎比賽時(shí)間
3月28日-5月31日
▎比賽獎(jiǎng)勵(lì)
本次比賽總獎(jiǎng)池7萬人民幣。
其中,比賽取前10名,前六名獎(jiǎng)金分別為20000、15000、10000、9000、6000、4000元,第七至十名獎(jiǎng)金均為1500元;
具體比賽規(guī)則及介紹,請(qǐng)前往官網(wǎng)。歡迎對(duì)AI模型安全感興趣的朋友,踴躍報(bào)名參加~
▎比賽報(bào)名官網(wǎng)
aisafety.sensetime.com
Workshop地址:
北航劉祥龍教授團(tuán)隊(duì)介紹:
xlliu-beihang.github.io
Openi啟智社區(qū):
https://openi.pcl.ac.cn/
掃描下方二維碼,加入CVPR 2023競賽交流群~