近日，微軟研究院與北京大學的研究小組共同提出了一種全新的 AI 換臉框架 FaceShifter，以及一種檢測偽造人臉圖像的方法 FaceX-Ray。前者可以極大提高換臉的高保真度，而后者則用于檢測出復雜偽造人臉圖像。

一個致力于造假，一個專注于打假；光是聽起來，就不禁讓人聯(lián)想到「矛」與「盾」的故事。那到底哪個更勝一籌呢？VB 發(fā)布了的相關內(nèi)容介紹了這兩個成果，雷鋒網(wǎng) AI 開發(fā)者將其整理及編譯如下。

 

人臉技術研究背景

目前，最先進的機器學習算法不僅可以完成對地點或物體的圖像改變與生成，以 Deepfake 為代表的 AI 換臉技術甚至已經(jīng)可以達到以假亂真的換臉效果；但由于換臉技術的濫用可能會為社會帶來一系列惡劣影響，研究人員也在不斷探索該技術的原理，并希望能夠解決這一難題。

就在最近，這一技術又有了新的進展。微軟研究院和北京大學的研究小組發(fā)表的兩篇學術論文中，他們分別提出了一種用于生成高保真和遮擋感知的人臉交換框架——FaceShifter，以及一種用于檢測偽造人臉圖像的方法——FaceX-Ray。

據(jù)相關研究人員表示，與多個現(xiàn)行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得更好的效果，而且它們所需的數(shù)據(jù)比以前的方法少得多。

無訓練換臉——FaceShifter

從相關資料可以看到，F(xiàn)aceShifter 能夠將目標圖像中的人替換為源圖像中的另一個人的同時，保留其頭部姿勢、面部表情、燈光、顏色、強度、背景和其他屬性特征。

雖然像 Reflect 和 FaceSwap 這樣的應用程序聲稱可以相當準確地做到這一點，但是微軟論文的合著者表示 FaceShifter 對姿態(tài)和視角的變化則敏感度更高。

  圖片來源：FaceShifter論文（https://arxiv.org/pdf/1912.13457.pdf）

FaceShifter 通過使用生成性對抗網(wǎng)絡（GAN）來提高換臉的保真度，它主要由兩部分架構組成。第一部分主要利用利用自適應注意力非正規(guī)化（AAD）層的新生成器整合人臉合成圖片的特征和屬性，該層可以自適應地學習整合面部屬性的位置；第二部分則重點解決面部遮擋問題，這部分則包括了一個新的啟發(fā)式錯誤確認細化網(wǎng)絡（HEAR-Net），可利用重建圖像與其輸入之間的差異來識別遮擋。

 
研究小組稱，「該框架在生成任意真實圖像相對的換臉圖像時，無需特定的訓練，都顯示出了優(yōu)越的性能。大量實驗表明，該框架明顯優(yōu)于以前的人臉交換方法?！?br />
可以看到，在一項定性測試中，F(xiàn)aceShifter 保留了人臉形狀，并自動適應換臉圖像的光線和圖像分辨率。此外，即使是從互聯(lián)網(wǎng)上抓取的「狂野面孔」，該框架也能夠在不依賴人工注釋數(shù)據(jù)的情況下恢復異常區(qū)域——包括眼鏡、陰影和反射效果，以及其它不常見的遮擋。

灰度打假 FaceX-Ray

而與 FaceShifter 相比，F(xiàn)aceX-Ray 則恰好是偽造頭像的克星。正如研究人員在相應的論文中所指出的那樣，我們確實需要這樣的工具來防止偽造圖像被濫用的情況。

2019 年 6 月曾有份報告披露，一名間諜利用人工智能生成的個人資料圖片愚弄 LinkedIn 中的聯(lián)系人；而就在去年 12 月，F(xiàn)acebook 發(fā)現(xiàn)數(shù)百個賬戶上面都有使用人工智能合成的假面像來作為個人資料照片。

  談回 Face X-Ray 檢測技術，它與現(xiàn)有方法不同，它不需要事先知道操作方法或人工監(jiān)督；相反的是它會生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個圖像的混合。

研究人員表示這一想法是可行的，因為大多數(shù)操作換臉的方法，都會有「將已改變的面部混合到現(xiàn)有背景圖像中」這一步驟。但每幅圖像都有自己獨特的標記，這些標記是從硬件（如傳感器和鏡頭）或軟件組件（如壓縮和合成算法）引入的，并且這些標記往往在整個圖像中也以類似的方式呈現(xiàn)。

 
因此，F(xiàn)ace X-Ray 不需要依賴于與特定人臉操作技術相關聯(lián)的偽影知識，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓練。

在一系列實驗中，研究人員在 FaceForensics++（一個包含 1000 多個用四種最先進的人臉置換方法生成的原始剪輯的大型視頻語料庫），以及另一個包含由真實圖像構建的混合圖像的訓練數(shù)據(jù)集上訓練了 Face X-Ray。

他們評估了 FaceX-Ray 使用四個數(shù)據(jù)集進行概括的能力，其中包括：

• 上述 FaceForensics++語料庫的一個子集；
• 谷歌發(fā)布的數(shù)千個 deepfake 影視集合，deepfake 檢測挑戰(zhàn)賽的圖像；
• Celeb DF，一個包含 408 個數(shù)據(jù)集真實視頻的語料庫和 795 個減少了視覺偽影的合成視頻。

結果表明，F(xiàn)ace X-Ray 能有效地識別出未被發(fā)現(xiàn)的偽造圖像，并能可靠地預測融合區(qū)域。研究人員指出，該方法依賴于混合步驟的存在，因此它可能不適用于全合成圖像，并且它可以無法成功檢測出對抗性樣本的真?zhèn)巍５查_這一點，這也算是朝通用化面部偽造圖像檢測工具邁出的有希望的一步。

原文地址：
https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/ 
FaceShifter 論文地址：
https://arxiv.org/pdf/1912.13457.pdf 
FaceX-Ray 論文地址：

https://arxiv.org/pdf/1912.13458.pdf 

來源 | 雷鋒網(wǎng)
作者 | 楊鯉萍