作為當(dāng)前人工智能發(fā)展的重要方向，預(yù)訓(xùn)練大模型已成為AI領(lǐng)域的技術(shù)新高地。2021年12月8日，鵬城實(shí)驗(yàn)室與百度聯(lián)合召開發(fā)布會(huì)，正式發(fā)布雙方共同研發(fā)的全球首個(gè)知識(shí)增強(qiáng)千億大模型——鵬城-百度·文心（模型版本號(hào)：ERNIE 3.0 Titan）。該模型參數(shù)規(guī)模達(dá)到2600億，是目前全球最大中文單體模型，在60多項(xiàng)任務(wù)上取得最好效果。同時(shí)，產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型“文心”全景圖首次亮相，從技術(shù)自主創(chuàng)新和加速產(chǎn)業(yè)應(yīng)用兩方面，推動(dòng)中國AI發(fā)展更進(jìn)一步。

現(xiàn)場，中國工程院院士、鵬城實(shí)驗(yàn)室主任高文，百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室主任王海峰共同啟動(dòng)發(fā)布儀式。

中國工程院院士、鵬城實(shí)驗(yàn)室主任高文（左），百度首席技術(shù)官王海峰聯(lián)合發(fā)布鵬城-百度·文心

高文院士在致辭中表示，“預(yù)訓(xùn)練模型對(duì)整個(gè)科學(xué)的發(fā)展、社會(huì)的發(fā)展、創(chuàng)新的發(fā)展都是非常重要的工具。運(yùn)用這個(gè)工具，可以幫助做很多人工智能的賦能，不局限于某個(gè)領(lǐng)域，這對(duì)人工智能的發(fā)展都是一個(gè)福音。”

王海峰介紹，此次發(fā)布的鵬城-百度·文心知識(shí)增強(qiáng)大模型從大規(guī)模知識(shí)和海量數(shù)據(jù)中融合學(xué)習(xí)，效率更高，效果更好，具有良好的可解釋性。

值得關(guān)注的是，鵬城-百度·文心是全球首個(gè)知識(shí)增強(qiáng)千億大模型，在機(jī)器閱讀理解、文本分類、語義相似度計(jì)算等60多項(xiàng)任務(wù)取得最好效果，并在30余項(xiàng)小樣本和零樣本任務(wù)上刷新基準(zhǔn)。為解決大模型應(yīng)用落地難題，研究團(tuán)隊(duì)還首創(chuàng)了大模型在線蒸餾技術(shù)，模型參數(shù)壓縮率可達(dá)99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當(dāng)，為產(chǎn)業(yè)大規(guī)模應(yīng)用打開新窗口。

使用鵬城-百度·文心進(jìn)行可信、可控文本生成

在鵬城-百度·文心的研發(fā)過程中，得益于鵬城實(shí)驗(yàn)室的高性能AI算力系統(tǒng)“鵬城云腦Ⅱ”和飛槳深度學(xué)習(xí)平臺(tái)強(qiáng)強(qiáng)聯(lián)手，解決了超大模型訓(xùn)練的多個(gè)公認(rèn)技術(shù)難題，使鵬城-百度·文心訓(xùn)練效率大幅提升，模型效果更優(yōu)。“鵬城云腦Ⅱ”是國產(chǎn)自主的首個(gè)E級(jí)AI算力平臺(tái)，曾在多個(gè)國際性能測試上獲得冠軍。飛槳是我國首個(gè)自主研發(fā)的深度學(xué)習(xí)開源開放平臺(tái)，研制了端到端自適應(yīng)分布式訓(xùn)練框架，實(shí)現(xiàn)多硬件支持，并行效率高達(dá)90%，有效支持鵬城-百度·文心千億大模型高效、穩(wěn)定地訓(xùn)練。另外，“鵬城云腦II”技術(shù)團(tuán)隊(duì)也與華為團(tuán)隊(duì)一同對(duì)大模型訓(xùn)練給予了持續(xù)保障。

為促進(jìn)產(chǎn)學(xué)研協(xié)“多輪驅(qū)動(dòng)”，鵬城實(shí)驗(yàn)室與百度成立了鵬城-百度自然語言處理聯(lián)合實(shí)驗(yàn)室，并以此為依托，實(shí)現(xiàn)資源共享、優(yōu)勢互補(bǔ)，在自然語言處理前沿研究和創(chuàng)新應(yīng)用方面協(xié)同攻關(guān)，助力打造國家戰(zhàn)略科技力量。此次聯(lián)合發(fā)布的鵬城-百度·文心將進(jìn)一步解決 AI 技術(shù)在產(chǎn)業(yè)應(yīng)用中缺乏領(lǐng)域和場景化數(shù)據(jù)等關(guān)鍵難題。本著“開源開放”的理念，該模型相關(guān)代碼近期會(huì)在OpenI啟智社區(qū)開源，依托“鵬城云腦Ⅱ”對(duì)外開放模型服務(wù)，聯(lián)合產(chǎn)學(xué)研協(xié)各方，充分挖掘AI大模型的賦能能力，助力科技創(chuàng)新，推動(dòng)產(chǎn)業(yè)發(fā)展。