在深度神經(jīng)網(wǎng)絡(luò)大行其道的現(xiàn)在，雖然大家總說要改善深度學(xué)習(xí)的可解釋性、任務(wù)專一性等問題，但是大多數(shù)研究論文在這些方面的努力仍然只像是隔靴搔癢。而且，越是新的、具有良好表現(xiàn)的模型，我們?cè)跒槟Ｐ捅憩F(xiàn)感到開心的同時(shí)，對(duì)模型數(shù)學(xué)原理、對(duì)學(xué)習(xí)到的表征的理解也越來越進(jìn)入到了放棄治療的心態(tài)；畢竟，深度學(xué)習(xí)具有超出經(jīng)典 AI 的學(xué)習(xí)能力，正是因?yàn)槟軌驅(qū)W習(xí)到新的、人類目前還無法理解的表征。

近期 DeepMind 的一篇論文《An Explicitly Relational Neural Network Architecture》（一種顯式的關(guān)系性神經(jīng)網(wǎng)絡(luò)架構(gòu)，arxiv.org/abs/1905.10307）似乎在這面高墻上打開了一個(gè)口子。他們想辦法把深度學(xué)習(xí)和符號(hào)化的表征連接起來，而且著重在意表征的多任務(wù)通用和重復(fù)使用能力，而且取得了有趣的初步成果。雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 科技評(píng)論把這篇論文的內(nèi)容簡(jiǎn)單介紹如下。

重新思考我們需要什么樣的表征

當(dāng)人類遇到?jīng)]有見過的新問題時(shí)，他們能回憶過往的經(jīng)驗(yàn)，從那些乍一看沒什么關(guān)系，但在更抽象、更結(jié)構(gòu)化的層次上有不少相似度的事情中獲得靈感。對(duì)于終生學(xué)習(xí)、持續(xù)學(xué)習(xí)來說，這種能力是非常重要的，而且也給人類帶來了很高的數(shù)據(jù)效率、遷移學(xué)習(xí)的能力、泛化到不同數(shù)據(jù)分布的能力等等，這些也都是當(dāng)前的機(jī)器學(xué)習(xí)無法比擬的。我們似乎可以認(rèn)定，決定了所有這些能力的最根本因素都是同一個(gè)，那就是決策系統(tǒng)學(xué)習(xí)構(gòu)建多種任務(wù)通用的、可重復(fù)使用的表征的能力。

一個(gè)多種任務(wù)通用、可重復(fù)使用的表征可以提高系統(tǒng)的數(shù)據(jù)效率，因?yàn)橄到y(tǒng)即便是遇到了新的任務(wù)也知道如何構(gòu)建與它相關(guān)的表征，而不需要從零開始。理論上來說，一個(gè)能高效利用多種任務(wù)通用、可重復(fù)使用的表征的系統(tǒng)，實(shí)際上也就和能學(xué)習(xí)如何建立這樣的表征的系統(tǒng)差不多。更進(jìn)一步地，如果讓系統(tǒng)學(xué)習(xí)解決需要使用到這樣的表征的新任務(wù)，我們也可以期待這個(gè)系統(tǒng)能夠?qū)W會(huì)更好地建立這樣的表征。所以，假設(shè)一個(gè)系統(tǒng)從零開始學(xué)習(xí)不同的任務(wù)，那么除了它學(xué)習(xí)到的最初的表征之外，之后的所有的學(xué)習(xí)都像是遷移學(xué)習(xí)，學(xué)習(xí)的過程也將是一如既往地不斷積累的、連續(xù)的、終生持續(xù)的。

在這篇論文中，DeepMind 提出的構(gòu)建一個(gè)這樣的系統(tǒng)的方法其實(shí)源于經(jīng)典的符號(hào)化 AI 的啟發(fā)。構(gòu)建在一階謂詞計(jì)算的數(shù)學(xué)基礎(chǔ)上的經(jīng)典符號(hào)化 AI 系統(tǒng)，它們的典型工作方式是把類似邏輯的推理規(guī)則作用在類似語言的命題表征上，這樣的表征自身由對(duì)象和關(guān)系組成。由于這樣的表征有聲明式的特性和復(fù)合式的結(jié)構(gòu)，這樣的表征天然地具有泛化性、可以重復(fù)使用。不過，與當(dāng)代的深度學(xué)習(xí)系統(tǒng)不同，經(jīng)典 AI 系統(tǒng)中的表征一般不是從數(shù)據(jù)學(xué)習(xí)的，而是由研究人員們手工構(gòu)建的。目前這個(gè)方向研究的熱點(diǎn)是想辦法結(jié)合兩種不同做法的優(yōu)點(diǎn)，構(gòu)建一個(gè)端到端學(xué)習(xí)的可微分神經(jīng)網(wǎng)絡(luò)，然后神經(jīng)網(wǎng)絡(luò)中也可以帶有命題式的、關(guān)系性的先驗(yàn)，就像卷積網(wǎng)絡(luò)帶有空間和局部性先驗(yàn)一樣。

這篇論文中介紹的網(wǎng)絡(luò)架構(gòu)基于非局部性網(wǎng)絡(luò)架構(gòu)的近期研究成果，這種網(wǎng)絡(luò)架構(gòu)可以學(xué)會(huì)發(fā)現(xiàn)并運(yùn)用關(guān)系信息，典型的比如 relation nets 以及基于多頭注意力的網(wǎng)絡(luò)。不過，這些網(wǎng)絡(luò)生成的表征都沒有什么顯式的結(jié)構(gòu)，也就是說，找不到什么從表征中的一部分到符號(hào)化介質(zhì)中的常用元素（命題、關(guān)系、對(duì)象）的映射。如果反過來探究這些元素在這樣的表征中是如何分布的，可以說它們分散地遍布在整個(gè)嵌入向量中，從而難以解釋，也難以利用它的命題性并在下游任務(wù)中運(yùn)用。

PrediNet 簡(jiǎn)介

DeepMind 帶來了新網(wǎng)絡(luò)架構(gòu) PrediNet，它學(xué)習(xí)到的表征中的不同部分可以直接對(duì)應(yīng)命題、關(guān)系和對(duì)象。
把命題作為知識(shí)的基礎(chǔ)部件的想法由來已久。一則元素聲明可以用來指出一組對(duì)象之間存在某種關(guān)系；聲明之間可以用邏輯操作連接（和、或、否等等），也可以參與到推理過程中。PrediNet 的任務(wù)就是學(xué)習(xí)把圖像之類的高維數(shù)據(jù)轉(zhuǎn)換為命題形式的表征，而且這個(gè)表征可以用于下游任務(wù)。

PrediNet 模塊可以看做是由三個(gè)階段組成的流水線：注意力 attention，約束 binding 和評(píng)價(jià) evaluation。注意力階段會(huì)選擇出成對(duì)的感興趣的對(duì)象，約束階段會(huì)借助選出的成對(duì)對(duì)象把一組三元謂詞中的前兩個(gè)實(shí)例化，最后評(píng)價(jià)階段會(huì)計(jì)算三元謂詞中的最后一個(gè)的（標(biāo)量）值，判定得到的聲明是否為真。（更具體的介紹見論文原文）

PrediNet 網(wǎng)絡(luò)架構(gòu)

實(shí)驗(yàn)測(cè)試

目前還沒法直接把 PrediNet 用于大規(guī)模復(fù)雜數(shù)據(jù)；而且為了對(duì)提出的架構(gòu)有足夠扎實(shí)的科學(xué)理解，以及便于和其它方法進(jìn)行細(xì)致的比較，用小數(shù)據(jù)、小計(jì)算量做實(shí)驗(yàn)也是比較合適的。實(shí)驗(yàn)測(cè)試的目標(biāo)有兩個(gè)，1，驗(yàn)證 PrediNet 是否能學(xué)習(xí)到希望的多任務(wù)通用、可重復(fù)使用的表征；2，如果前一個(gè)目標(biāo)為真，研究它成立的原因。
作者們?cè)O(shè)計(jì)了一組“猜測(cè)關(guān)系”游戲，是相對(duì)簡(jiǎn)單的分類任務(wù)。它的玩法是，首先要學(xué)習(xí)表征一組繪制在 3x3 網(wǎng)格中的圖形，然后對(duì)于一張含有多個(gè)圖形的大圖，判斷給出的一條關(guān)于大圖中的圖形間的關(guān)系的聲明是否為真。雖然 PrediNet 本身學(xué)習(xí)到的命題都只是很對(duì)兩兩成對(duì)的對(duì)象的，這個(gè)猜測(cè)關(guān)系游戲需要的是學(xué)習(xí)可能會(huì)牽扯到多個(gè)對(duì)象的復(fù)合關(guān)系。

游戲介紹：(a)訓(xùn)練集中包含的樣本對(duì)象 (b)五種不同的可能行/列排列模式 (c)單個(gè)任務(wù)預(yù)測(cè)的示例 (d)多任務(wù)預(yù)測(cè)示例

多種形狀和關(guān)系的排列組合使得這個(gè)任務(wù)的變化有相當(dāng)多種，是比較理想的測(cè)試表征及邏輯能力的設(shè)定。
作者們對(duì)比的幾種模型都帶有一個(gè)卷積輸入層、中央模塊、以及一個(gè)用于輸出的多層感知機(jī)；中央模塊是區(qū)別所在，PrediNet 或者其他的基準(zhǔn)模型。

數(shù)據(jù)效率

用十萬組樣本訓(xùn)練以后，5 種模型的對(duì)比如下。PrediNet 是唯一一個(gè)在所有任務(wù)上都取得超過 90% 準(zhǔn)確率的模型；在某些任務(wù)中相比基準(zhǔn)模型甚至有 20% 的提升。


表征學(xué)習(xí)能力

作者們?cè)O(shè)計(jì)了四個(gè)階段的模型學(xué)習(xí)，通過在不同階段測(cè)試模型，可以探究模型的表征學(xué)習(xí)能力。從空白模型開始，首先學(xué)習(xí)一個(gè)任務(wù)（即無預(yù)訓(xùn)練的單任務(wù)學(xué)習(xí)）；其次學(xué)習(xí)多種不同任務(wù)（在第一個(gè)任務(wù)的基礎(chǔ)上，即有預(yù)訓(xùn)練的多任務(wù)學(xué)習(xí)）；接著凍結(jié) CNN 層和中央模塊，僅更新多層感知機(jī)；最后凍結(jié) CNN 層，更新中央模型和多層感知機(jī)。這四個(gè)階段中不同模型的表現(xiàn)如下圖。


首先，橫坐標(biāo)是訓(xùn)練樣本數(shù)量，縱坐標(biāo)是準(zhǔn)確率，即模型表現(xiàn)隨訓(xùn)練樣本增加的變化，那么所有曲線都是越貼近左上角越好，這里已經(jīng)能看出 PrediNet 的優(yōu)勢(shì)。其次，作者們認(rèn)為尤其值得注意的是第三個(gè)階段的表現(xiàn)，凍結(jié) CNN 層和中央模塊，僅更新多層感知機(jī)，圖中綠線。凍結(jié)現(xiàn)有的表征不變，向新的任務(wù)適應(yīng)（遷移），PrediNet 的學(xué)習(xí)速度是最快的，也是唯一一個(gè)在訓(xùn)練結(jié)束后得到了 90% 準(zhǔn)確率的模型。這就說明了 PrediNet 學(xué)習(xí)到的表征確實(shí)更加多任務(wù)通用。

模型可視化

為了更好地理解 PrediNet 的計(jì)算行為，作者們制作了一些可視化，如圖。

訓(xùn)練后的 PrediNet 的注意力頭的熱力圖。上方：在判斷是否形同的任務(wù)中訓(xùn)練；下方：在判斷是否出現(xiàn)的任務(wù)中訓(xùn)練

主成份分析（PCA）

結(jié)合多種實(shí)驗(yàn)和分析，作者們認(rèn)為 PrediNet 確實(shí)有一定的關(guān)系解耦能力，這也正是研究開始時(shí)希望得到的能學(xué)習(xí)到良好的表征的模型所需的。

結(jié)論

作者們展示了一個(gè)理論上可以學(xué)習(xí)到抽象邏輯的模型，而且它還和端到端學(xué)習(xí)兼容；網(wǎng)絡(luò)可以自行從原始數(shù)據(jù)中學(xué)習(xí)到對(duì)象和它們的關(guān)系，從而繞過了傳統(tǒng) AI 中手工特征帶來的種種問題。作者們的實(shí)驗(yàn)表明網(wǎng)絡(luò)可以學(xué)習(xí)到顯式命題的、關(guān)系性的表征，從而在數(shù)據(jù)效率、泛化性、可遷移性方面都有大幅改進(jìn)。不過這僅僅是非常初步的研究，完全開發(fā)這個(gè)思路的潛力，并把它應(yīng)用在更復(fù)雜的數(shù)據(jù)、更復(fù)雜的實(shí)際任務(wù)中還需要很多后續(xù)研究。

另一方面，這篇論文的重點(diǎn)在于獲得這樣的表征而非應(yīng)用它。不過由于這種模型架構(gòu)帶有的良好先驗(yàn)，PrediNet 模塊生成的表征和謂詞計(jì)算是自然地相容的，這就為后續(xù)的各種符號(hào)邏輯運(yùn)算做了良好的鋪墊。這個(gè)基礎(chǔ)上的改進(jìn)可以考慮增加循環(huán)連接，這可能會(huì)讓模型具有迭代和序列計(jì)算能力；也可以考慮把它用于強(qiáng)化學(xué)習(xí)，可以對(duì)目前的深度強(qiáng)化學(xué)習(xí)的各方面問題都帶來改進(jìn)。

論文原文 https://arxiv.org/abs/1905.