深度學習近年來迅速興起，正如日中天，但因為其固有缺陷，在一些領域內沒有達到研究者的預期。日前美國國家科學院院刊（PNAS）發表了一篇評論文章，回顧了深度學習近年的發展歷程，認為圖網絡（graph network）可能會引領 AI 未來發展。

 
本文作者 M. Mitchell Waldrop 是威斯康星大學基本粒子物理學博士，曾擔任 Nature、Science 等頂級期刊撰稿人、編輯，出版過《復雜》等科學著作。
上圖中是一根香蕉，然而人工智能卻將其識別為烤面包機，即使它使用了在自動駕駛、語音理解和多種 AI 應用中表現出色的強大深度學習技術。這意味著 AI 已經見過了幾千張香蕉、蛞蝓、蝸牛和類似外觀的物體，然后對新輸入的圖像預測其中物體的類別。然而這種系統很容易被誤導，圖像中只是多了一張貼紙，就讓系統的預測產生嚴重偏離。
深度學習方法中的明顯缺點引起了研究員和大眾的關注，如無人駕駛汽車等技術，它們使用深度學習技術進行導航，帶來了廣為人知的災難事件 | 來源：Shutterstock.com

上述這個被深度學習研究者稱之為「對抗攻擊」的案例是由谷歌大腦提出的，它暗示著 AI 在達到人類智能上仍有很長的路要走。「我最初認為只是一個小煩惱，」多倫多大學的計算機科學家、深度學習先驅之一 Geoffrey Hinton 說：「但我現在認為這個問題可能非常重要，它告訴我們，我們到底做錯了什么。」

這是很多人工智能從業者的同感，任何人都可以輕易說出一長串深度學習的弊端。例如，除了易受欺騙之外，深度學習還存在嚴重的低效率問題。「讓一個孩子學會認識一頭母牛，」Hinton 說，「他們的母親不需要說'牛'一萬次」，但深度學習系統學習『牛』時需要這么多次。人類通常僅從一兩個例子中就能學習新概念。

然后是不透明問題。深度學習系統訓練好之后，我們無法確定它是如何做出決定的。「在許多情況下，這是不可接受的，即使它得到了正確的答案，」計算神經科學家、負責劍橋 MIT-IBM Watson AI 實驗室的 David Cox 說。假設一家銀行使用人工智能來評估你的信譽，然后拒絕給你一筆貸款，「美國多個州的法律都規定必須解釋其中的原因，」他說。

也許這里面最重要的就是缺乏常識的問題了。深度學習系統可能在識別像素分布的模式上很擅長，但是它們無法理解模式的含義，更不用說理解模式背后的原因了。「在我看來，當前的系統還不知道沙發和椅子是用來坐的，」DeepMind 的 AI 研究員 Greg Wayne 說。

深度學習暴露的越來越多的弱點正在引起公眾對人工智能的關注。特別是在無人駕駛汽車領域，它們使用類似的深度學習技術進行導航，曾經導致了廣為人知的災難和死亡事故。

盡管如此，無可否認，深度學習是一種非常強大的工具。深度學習使得部署應用程序（例如面部識別和語音識別）變得非常常見，這些應用程序在十年前幾乎不可能完成。「所以我很難想象深度學習會在這種時候被拋棄，」Cox 說。「更大的可能是對深度學習方法進行修改或增強。」

大腦戰爭：
深度學習漸占上風

今天的深度學習革命的根源在于 20 世紀 80 年代的「大腦戰爭」，當時兩種不同的人工智能流派相互爭執不休。

一種方法現在被稱為「老式的 AI」，自 20 世紀 50 年代以來一直占據著該領域的主導地位，也被稱為符號 AI，它使用數學符號來表示對象和對象之間的關系。加上由人類建立的廣泛的知識庫，這些系統被證明在推理方面非常擅長。但是到了 20 世紀 80 年代，人們越來越清楚地認識到，符號 AI 在處理現實生活中的符號、概念和推理的動態時表現得非常糟糕。

為了應對這些缺點，另一派研究人員開始倡導人工神經網絡或連接人工智能，他們是當今深度學習系統的先驅。這種系統的基本思想是通過傳播模擬節點（人腦中神經元的類似物）網絡中的信號來對其進行處理。信號沿著連接（突觸的類似物）從節點傳遞到節點。類似于真實的大腦，學習是調整可放大或抑制每個連接所攜帶信號的「權重」的問題。

在實踐中，大多數網絡將節點排列為一系列層，這些層大致類似于皮層中的不同處理中心。因此，專門用于圖像的網絡將具有一層輸入節點，這些節點對單個像素做出響應，就像視桿細胞和視錐細胞對光線照射視網膜做出響應一樣。一旦被激活，這些節點通過加權連接將其激活級別傳播到下一級別的其它節點，這些節點組合輸入信號并依次激活（或不激活）。這個過程一直持續到信號到達節點的輸出層，其中激活模式提供最終預測。例如，輸入圖像是數字「9」。如果答案是錯誤的，例如說輸入圖像是一個「0」。網絡會執行反向傳播算法在層中向下運行，調整權重以便下次獲得更好的結果。

到 20 世紀 80 年代末，在處理嘈雜或模糊的輸入時，神經網絡已經被證明比符號 AI 好得多。然而，這兩種方法之間的對峙仍未得到解決，主要是因為當時計算機能擬合的人工智能系統非常有限。無法確切知道這些系統能夠做什么。
AI 的「神經網絡」模型通過類似于神經元的節點網絡發送信號。信號沿著連接傳遞到節點。「學習」會通過調整放大或抑制每個連接所承載信號的權重來改善結果。節點通常以一系列層排列，這些層大致類似于皮質中的不同處理中心。今天的計算機可以處理數十層的「深度學習」網絡 | 來源：Lucy Reading-Ikkanda。

算力爆發

引發深度學習革命

這種理解在 21 世紀得到變革，隨著數量級計算機的出現，功能更加強大的社交媒體網站提供源源不斷的圖像、聲音和其它訓練數據。

Hinton 是反向傳播算法的聯合提出者，也是 20 世紀 80 年代連接主義運動的領導者。他和他的學生們不斷嘗試訓練比以前更大的網絡，層數從一個或兩個增加到大約六個（今天的商業網絡通常使用超過 100 層的網絡）。

2009 年，Hinton 和他的兩名研究生表示，這種「深度學習」在語音識別上能夠超越任何其它已知的方法。2012 年，Hinton 和另外兩名學生發表了論文，表明深度神經網絡在圖像識別上可能比標準視覺系統好得多。「我們幾乎將誤差率減半，」他說。在這之后，深度學習應用的革命開始了。

研究人員早期更加關注擴展深度學習系統的訓練方式，Matthew Botvinick 說。他在 2015 年從普林斯頓的神經科學小組離開，學術休假一年，進入 DeepMind，從那時起一直沒有離開。語音和圖像識別系統都使用了監督學習，他說：「這意味著每張圖片都有一個正確的答案，比如貓的圖像的類別必須是'貓'。如果網絡預測錯誤，你就告訴它什么是正確的答案。」然后網絡使用反向傳播算法來改進其下一個猜測。

Botvinick 說，如果有精心標記的訓練樣例，監督學習的效果會很好。但一般而言，情況并非如此。它根本不適用于諸如玩視頻游戲等沒有正確或錯誤答案的任務，其中僅有成功或失敗的策略。

Botvinick 解釋說，對于那些情況（事實上，在現實世界的生活中），你需要強化學習。例如，玩視頻游戲的強化學習系統學會尋求獎勵，并避免懲罰。

2015 年，當 DeepMind 的一個小組訓練網絡玩經典的 Atari 2600 街機游戲時，首次成功實現了深度強化學習。「網絡將在游戲中接收屏幕圖像作為輸入，」隨后加入該公司的 Botvinick 說，「在輸出端有指定動作的圖層，比如如何移動操縱桿。」該網絡的表現達到甚至超過了人類 Atari 玩家。2016 年，DeepMind 研究人員使用掌握了相同網絡的更精細版本的 AlphaGo 在圍棋上擊敗了人類世界冠軍。

如何彌補

深度學習的根本性缺陷

不幸的是，這些里程碑式的成就都沒有解決深度學習的根本問題。以 Atari 系統為例，智能體必須玩上千輪才能掌握多數人類幾分鐘之內就能學會的游戲。即便如此，網絡也無法理解或解釋屏幕上的拍子等物體。因此 Hinton 的問題也可以用在這里：到底哪里還沒做好？

也許沒有哪里沒做好。也許我們需要的只是更多的連接、更多的層以及更加復雜的訓練方法。畢竟，正如 Botvinick 所指出的，神經網絡在數學上等同于一臺通用計算機，也就是說只要你能找到正確的連接權重，就沒有神經網絡處理不了的計算——至少理論上是這樣。

但在實踐中，出現的錯誤卻可能是致命的——這也是為什么人們越發感覺深度學習的劣勢需要從根本上解決。

擴展訓練數據的范圍是一種簡單的解決方法。例如，在 2018 年 5 月發表的一篇論文中，Botvinick 的 DeepMind 團隊研究了神經網絡在多個任務上訓練時發生了什么。他們發現，只要有足夠的從后面的層往前傳遞（這一特性可以讓網絡隨時記住自己在做什么）的「循環」連接，網絡就能自動從前面的任務中學習，從而加速后續任務的學習速度。這至少是人類「元學習」（學習如何學習）的一種雛形，而元學習是人類能夠快速學習的一大原因。

一種更激進的可能性是，放棄只訓練一個大的網絡來解決問題的做法，轉而讓多個網絡協同工作。2018 年 6 月，DeepMind 團隊發表了一種新方法——生成查詢網絡（Generative Query Network）架構，該架構利用兩個不同的網絡，在沒有人工輸入的復雜虛擬環境中學習。一個是表征網絡，本質上是利用標準的圖像識別學習來識別在任何給定時刻 AI 能看到的東西。與此同時，生成網絡學習獲取第一個網絡的輸出，并生成整個環境的 3D 模型——實際上是對 AI 看不到的對象和特征進行預測。例如，如果一張桌子只有三條腿可見，上述 3D 模型將生成同樣大小、形狀及顏色的第四條腿。

Botvinick 表示，這些預測反過來又能讓系統比使用標準的深度學習方法更快地學習。「一個試圖預測事物的智能體會在每一個時間步上自動得到反饋，因為它可以看到自己的預測結果如何。」因此，智能體可以不斷更新、優化模型。更妙的是，這種學習是自監督的：研究者不必標記環境中任何事物，甚至也不用提供獎勵或懲罰。

一種更徹底的方法是不要再讓網絡在每一個問題中都從頭開始學習。「白板」（blank-slate）方法的確可以讓網絡自由地發現研究者從未想過的對象、動作的表征方式，也有可能發現一些完全出人意料的玩游戲策略。但人類從來不會從 0 開始：無論如何，人類至少會利用從之前經歷中學到的或在進化過程中留在大腦中的先驗知識。

例如，嬰兒似乎生來就有許多固有的「歸納偏置」，使他們能夠以驚人的速度吸收某些核心概念。到了 2 個月大的時候，他們就已經開始掌握一些直觀的物理規律，包括物體存在的概念，這些物體傾向于沿著連續的路徑移動，當它們接觸時，不會互相穿過。這些嬰兒也開始擁有一些基礎的心理直覺，包括識別面孔的能力，以及認識到世界上存在其他自主行動的智能體。

擁有這種內置的直覺偏置可能會幫助深層神經網絡以同樣的速度快速學習，因此該領域的許多研究人員優先考慮這種思路。實際上，僅僅在過去的 1 到 2 年里，一種名為圖網絡的方法就在社區內引起了不小的轟動，這是一種頗有前景的方法。

Botvinick 表示，「這種深度學習系統擁有固有偏置，傾向于將事物表征為對象和關系。」例如，某些物體（如爪子、尾巴、胡須）可能都屬于一個稍大的對象（貓），它們之間的關系是「A 是 B 的一部分」。同樣地，「球 A 和方塊 B」之間的關系可能是「相鄰」，「地球」繞著「太陽」轉……通過大量其他示例——其中任何示例都可以表征為一個抽象圖，其中的節點對應于對象，連接對應于關系。

圖網絡是一種神經網絡，它將圖作為輸入（而不是原始像素或聲波），然后學會推理和預測對象及其關系如何隨時間演變。（某些應用程序可能會使用獨立的標準圖像識別網絡來分析場景并預先挑選出對象。）

圖網絡方法已經被證明在各種應用程序上都可以快速學習和達到人類級別的性能，包括復雜的視頻游戲。如果它繼續像研究人員所希望的那樣發展，它就可以通過提高訓練速度和效率來緩解深度學習的巨量數據需求問題，并且可以使網絡更不容易受到對抗性攻擊。因為系統表征的是物體，而不是像素的模式，這使得其不會被少量噪音或無關的雜物輕易誤導。

Botvinick 坦言，任何領域都不會輕易或快速地取得根本性進展。但即便如此，他還是堅信：「這些挑戰是真實存在的，但并非死路一條。」
編譯：張倩、曉坤
編輯：楊清怡