吳甜《飛槳開源平臺(tái)助力產(chǎn)業(yè)智能化》
演講者： 吳甜，百度集團(tuán)副總裁，深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程實(shí)驗(yàn)室副主任，百度黃埔學(xué)院院長(zhǎng)
演講速記（根據(jù)現(xiàn)場(chǎng)演講整理，未經(jīng)演講者確認(rèn)）
尊敬的各位來賓、開發(fā)者朋友們、同學(xué)們，大家上午好！我今天帶來的是啟智飛槳項(xiàng)目的報(bào)告，這個(gè)項(xiàng)目是一個(gè)完全開源的項(xiàng)目，我們也能夠看到，現(xiàn)在整個(gè)軟件開源的發(fā)展勢(shì)頭是非常迅猛的，這一組數(shù)據(jù)是來自于github上的數(shù)據(jù)，能看到github上已經(jīng)積累了4000萬開發(fā)者，2019年全年新增1000萬代碼庫有4000多萬，44%的用戶在2019年創(chuàng)建了自己的代碼庫，拉取請(qǐng)求也是在今年一年有大量的用戶在創(chuàng)建自己的首個(gè)拉取請(qǐng)求。70%的全球50強(qiáng)企業(yè)都在為開源做貢獻(xiàn)，有大量的學(xué)生在github上學(xué)習(xí)編程、練習(xí)編程。可以看到全球開源開放是非常迅猛的發(fā)展?fàn)顟B(tài)，在使用最多的20個(gè)國(guó)家和地區(qū)中，中國(guó)開發(fā)者在fork和clone中的比例已經(jīng)超過了48%，這個(gè)數(shù)據(jù)是非常驚人的，在這樣的背景下，啟智這樣一種新一代的人工智能開源開放平臺(tái)對(duì)我們國(guó)家來說是非常重要、非常有意義的一件事情。
可以看到開源軟件已經(jīng)形成了一種重要的軟件創(chuàng)新發(fā)展模式，而且開源軟件這樣一個(gè)協(xié)同模式也在加速全球化。而人工智能浪潮推動(dòng)著整個(gè)開源軟件生態(tài)系統(tǒng)越來越繁榮。
人工智能技術(shù)在和產(chǎn)業(yè)進(jìn)行持續(xù)的深度融合的過程中，因?yàn)槿斯ぶ悄芗夹g(shù)的一些特點(diǎn)，我們能看到人工智能技術(shù)本身是一個(gè)多技術(shù)整合的領(lǐng)域，它并不是單一技術(shù)來解決現(xiàn)實(shí)場(chǎng)景中的問題，而且這些大量的技術(shù)在積累下來之后，其實(shí)是可以進(jìn)行能力的復(fù)用的。在人工智能技術(shù)和產(chǎn)業(yè)結(jié)合的時(shí)候，本身它又是一個(gè)社會(huì)分工精細(xì)化和組合式創(chuàng)新的過程，它需要整個(gè)產(chǎn)業(yè)鏈生態(tài)角色打通。同時(shí)，因?yàn)檫@一系列技術(shù)需要進(jìn)行大數(shù)據(jù)的計(jì)算，所以對(duì)于產(chǎn)業(yè)來說，對(duì)于用戶來說，它的數(shù)據(jù)保密、隱私、國(guó)家安全又是非常重要的。所以人工智能開源開放平臺(tái)本身也是在現(xiàn)在這個(gè)時(shí)代當(dāng)中非常重要的。
這一輪的人工智能技術(shù)是由深度學(xué)習(xí)技術(shù)突破所推動(dòng)發(fā)展起來的，深度學(xué)習(xí)技術(shù)就離不開深度學(xué)習(xí)框架，開源深度學(xué)習(xí)框架在整個(gè)技術(shù)棧當(dāng)中屬于是向下銜接芯片、向上承接應(yīng)用，生態(tài)當(dāng)中也是這樣的位置，它擁有自己開發(fā)的生態(tài)，向下與硬件生態(tài)緊密結(jié)合，向上與應(yīng)用的生態(tài)緊密結(jié)合。所以我們認(rèn)為這樣一個(gè)軟件本身它是在新的時(shí)代里，類似于操作系統(tǒng)這樣一個(gè)位置的軟件，而基于基礎(chǔ)框架，加上它的基礎(chǔ)上的平臺(tái)組件等等形成的整體深度學(xué)習(xí)平臺(tái)，也是構(gòu)建AI生態(tài)，加速產(chǎn)業(yè)智能化的核心基礎(chǔ)。
啟智飛槳項(xiàng)目就是這樣一個(gè)深度學(xué)習(xí)開源開放平臺(tái)，飛槳上積累了大量能力，來源于產(chǎn)業(yè)的實(shí)踐，它其實(shí)也是產(chǎn)學(xué)研融合推動(dòng)起來的完備的平臺(tái)，在核心框架層，覆蓋了開發(fā)、訓(xùn)練、預(yù)測(cè)全方位的能力，在基礎(chǔ)模型庫上已經(jīng)覆蓋到了自然語言處理、視覺、推薦和語音等等主流的人工智能算法方向。在飛槳上有面向端到端場(chǎng)景的開發(fā)套件，這一系列開發(fā)套件會(huì)在場(chǎng)景當(dāng)中進(jìn)一步降低使用的門檻，在工具組件上也已經(jīng)覆蓋到了大量的自動(dòng)化深度學(xué)習(xí)、遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等一系列的主流學(xué)習(xí)的算法方向。而在服務(wù)平臺(tái)上進(jìn)一步的推出了一系列的平臺(tái)，降低AI的門檻。
在飛槳上現(xiàn)在已經(jīng)累計(jì)有150萬以上開發(fā)者在使用，在飛槳和產(chǎn)業(yè)應(yīng)用不斷結(jié)合的過程中，我們能看到有大量的創(chuàng)新產(chǎn)生，同時(shí)也有很多和大規(guī)模結(jié)合應(yīng)用的挑戰(zhàn)。今天我會(huì)分享幾個(gè)我們所觀察到的重要的挑戰(zhàn)和難點(diǎn)，以及飛槳未來的重要發(fā)展方向。
首先在向互聯(lián)網(wǎng)產(chǎn)品應(yīng)用中，互聯(lián)網(wǎng)產(chǎn)品是擁有海量數(shù)據(jù)的，它的內(nèi)容覆蓋網(wǎng)頁數(shù)據(jù)、媒體內(nèi)容、用戶貢獻(xiàn)內(nèi)容等等一系列數(shù)據(jù)，需要進(jìn)行超大規(guī)模數(shù)據(jù)分析處理，同時(shí)又有海量的用戶群體。而且因?yàn)檫@些產(chǎn)品在線上與用戶實(shí)時(shí)地進(jìn)行交互和反饋，所以有很多產(chǎn)品也是有這種在線的流式學(xué)習(xí)需求的。所以對(duì)一個(gè)深度學(xué)習(xí)平臺(tái)來說，在這樣一個(gè)場(chǎng)景下，需要有很強(qiáng)的分布式訓(xùn)練的能力，在飛槳平臺(tái)上已經(jīng)實(shí)現(xiàn)了超大規(guī)模稀疏性特征參數(shù)服務(wù)器，能夠支持萬億計(jì)模型參數(shù)量和千億級(jí)訓(xùn)練數(shù)據(jù)，有數(shù)百個(gè)節(jié)點(diǎn)的訓(xùn)練能力，并且也實(shí)現(xiàn)了終生流式學(xué)習(xí)。也就是說像這些萬億級(jí)模型參數(shù)量是在線上進(jìn)行實(shí)時(shí)的更新迭代的。所以對(duì)于飛槳來說，持續(xù)地進(jìn)行更強(qiáng)的分布式計(jì)算能力、異構(gòu)計(jì)算能力，就是我們的方向之一。
剛剛說到的是訓(xùn)練層面的，另外一個(gè)角度是在預(yù)測(cè)、推理和部署角度的。我們知道模型訓(xùn)練出來之后，最終能不能發(fā)揮作用，還是要放到場(chǎng)景當(dāng)中，我拿人臉識(shí)別舉例子，我們可以看到人臉識(shí)別已經(jīng)在非常多場(chǎng)景在用，像人臉考勤、人臉閘機(jī)、監(jiān)控等等一系列場(chǎng)景，每一個(gè)場(chǎng)景都有自己獨(dú)特的要求，相應(yīng)的硬件設(shè)備都有對(duì)安全性、能耗、性能等等不一樣的一系列要求，在這樣一些場(chǎng)景去部署的時(shí)候，對(duì)于算法工程師來說，每個(gè)場(chǎng)景都進(jìn)行適配，這個(gè)工作量其實(shí)是非常大的，同時(shí)對(duì)算法工程師的能力要求也太高了，所以我們也在想，在飛槳平臺(tái)上能否為大家提供更強(qiáng)的在硬件平臺(tái)和在場(chǎng)景當(dāng)中的集成能力，所以飛槳的第二個(gè)重要方向是持續(xù)地去進(jìn)行全硬件平臺(tái)的支持，研究端、云、邊結(jié)合的完美方式。
今天我們的人工智能技術(shù)在和實(shí)體經(jīng)濟(jì)進(jìn)行深度的融合，應(yīng)用于傳統(tǒng)行業(yè)的時(shí)候，也有一系列的難題，比如說質(zhì)檢領(lǐng)域，之前這個(gè)領(lǐng)域在應(yīng)用傳統(tǒng)視覺算法，而傳統(tǒng)視覺算法有很多的不足，在深度學(xué)習(xí)技術(shù)下是可以解決的。在遷移的過程當(dāng)中，對(duì)于很多的企業(yè)來說，有三個(gè)難題，首先是問題定義、技術(shù)選型的難題，把這個(gè)問題怎么樣能夠界定成一個(gè)可解的問題，它就是我們有好的方法或者模型能夠適用上來，在產(chǎn)線上是不是能獲取到足夠好的異常樣本，還有最終的容錯(cuò)情況等等，這一系列的問題對(duì)于企業(yè)來說都會(huì)帶來困擾。所以對(duì)企業(yè)來說其實(shí)也是需要有好的一系列的方案能夠去進(jìn)行案例的投射。
第二個(gè)難題是，即使選定了模型，真正驗(yàn)證的時(shí)候，成本也是很高的，研發(fā)周期也很長(zhǎng)，在我們的開源項(xiàng)目中沒有新的模型產(chǎn)生的時(shí)候，其實(shí)是有新的相應(yīng)的模型代碼產(chǎn)生的，但是它常常和實(shí)際的產(chǎn)業(yè)應(yīng)用結(jié)合的時(shí)候，還會(huì)存在一些標(biāo)準(zhǔn)，存在一些和自己的應(yīng)用結(jié)合時(shí)連接的適配的問題。當(dāng)然這些模型也很紛繁復(fù)雜，有些就是在特定數(shù)據(jù)集上開展的，對(duì)于企業(yè)進(jìn)行選擇的時(shí)候需要很長(zhǎng)的量的周期進(jìn)行驗(yàn)證。
第三個(gè)難題是傳統(tǒng)行業(yè)在應(yīng)用的時(shí)候，設(shè)備本身是有成本的限制，以及特定的性能要求的，比如說有可能流水線上對(duì)于這一塊就是需要做一次推理預(yù)測(cè)，在很短的時(shí)間內(nèi)要完成，流水線產(chǎn)線上本來的設(shè)備也沒有那么高級(jí)，這個(gè)時(shí)候也會(huì)有一系列問題產(chǎn)生。所以基于此，飛槳也構(gòu)建了一套端到端的開發(fā)套件，來解決這些場(chǎng)景當(dāng)中的問題，基于這樣一套開發(fā)套件，首先可以進(jìn)行案例的投射，讓開發(fā)者可以在豐富的案例當(dāng)中去選擇最適合場(chǎng)景的方案，再加上數(shù)據(jù)的標(biāo)注、增強(qiáng)等等一系列的工具箱以及開發(fā)訓(xùn)練的整套工具，可以讓開發(fā)者很快速進(jìn)行驗(yàn)證，因?yàn)檫@樣一整套工具本身都是開源的，所以也很方便進(jìn)行深度定制，最后可以整個(gè)環(huán)路快速的實(shí)現(xiàn)，能夠進(jìn)行最后的系統(tǒng)集成。
這里大家也會(huì)發(fā)現(xiàn)，我們有專門的預(yù)訓(xùn)練模型+遷移學(xué)習(xí)工具的模式，這個(gè)模式我們稱為飛槳Master模式。深度學(xué)習(xí)在學(xué)習(xí)的時(shí)候，大算力、大數(shù)據(jù)和大模型的要求，往往會(huì)成為很多使用者的一個(gè)壁壘和們不單單是很多企業(yè)，對(duì)于大量的開發(fā)者和各位同學(xué)來說，我們?cè)谑褂玫臅r(shí)候，算力資源、數(shù)據(jù)資源都是不夠的，包括調(diào)模型的經(jīng)驗(yàn)都是不足的，飛槳這樣一套模式把百度的算力和數(shù)據(jù)，以及模型設(shè)計(jì)和調(diào)優(yōu)的能力集成進(jìn)去，我們提供了豐富的預(yù)訓(xùn)練模型，現(xiàn)在在飛槳上開放出來的預(yù)訓(xùn)練模型已經(jīng)達(dá)到了100個(gè)以上，舉個(gè)例子，在利用的百度的知識(shí)增強(qiáng)的語義理解模型的基礎(chǔ)上，可以把一個(gè)分類的任務(wù)從原來7人天的工作量降低到1人天以內(nèi)，并且效果可以做到從原來對(duì)場(chǎng)景來說幾乎不可用，到一個(gè)非常高的效果。這樣一系列的工作都會(huì)有助于開發(fā)者和同學(xué)們使用。
飛槳上已經(jīng)形成了四大領(lǐng)先技術(shù)：一是融合了靜態(tài)圖和動(dòng)態(tài)圖開發(fā)便捷的深度學(xué)習(xí)框架，在我們的設(shè)計(jì)中，兼?zhèn)淞藙?dòng)態(tài)圖和靜態(tài)圖的底層設(shè)計(jì)，使得可以兼顧性能和易用性。二是超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)，第三是多端多平臺(tái)部署的高性能推理引擎，第四是產(chǎn)業(yè)級(jí)開源模型庫，這里面有基礎(chǔ)模型庫，也有預(yù)訓(xùn)練模型庫。
基于飛槳的AI開放能力非常豐富，能看到主流的AI方向我們都可以有非常多的場(chǎng)景上的嘗試。現(xiàn)在在飛槳平臺(tái)上已經(jīng)凝聚有150萬以上的開發(fā)者，服務(wù)了6.5萬以上的企業(yè)，累計(jì)創(chuàng)造了16.9萬個(gè)模型，覆蓋到各行各業(yè)，包括工業(yè)、農(nóng)業(yè)、教育等等行業(yè)，有大量的場(chǎng)景都在使用。
啟智飛槳這樣一個(gè)項(xiàng)目，希望飛槳就像一艘快艇，在啟智平臺(tái)這樣一個(gè)大海上借力助勢(shì)，能夠快速發(fā)展，能夠?yàn)槲覈?guó)的人工智能技術(shù)發(fā)展，為我們的產(chǎn)學(xué)研的綜合性發(fā)展帶來幫助，加速整個(gè)產(chǎn)業(yè)智能化。
