昨日，騰訊 AI Lab 與王者榮耀共同探索的前沿研究項(xiàng)目 - 策略協(xié)作型 AI 「絕悟」在吉隆坡舉辦的王者榮耀最高規(guī)格電競(jìng)賽事——世界冠軍杯半決賽的特設(shè)環(huán)節(jié)中，在職業(yè)選手賽區(qū)聯(lián)隊(duì)帶來(lái)的 5v5 水平測(cè)試中獲勝，升級(jí)至王者榮耀電競(jìng)職業(yè)水平。

而就在同一天，「絕悟」的 1v1 版本也在上海舉辦的國(guó)際數(shù)碼互動(dòng)娛樂展覽會(huì) ChinaJoy 首次對(duì)公眾亮相，向頂級(jí)業(yè)余玩家開放為期四天的體驗(yàn)測(cè)試。其中在首日的 504 場(chǎng)測(cè)試中，「絕悟」的測(cè)試勝率為 99.8%，僅有 1 場(chǎng)輸給了王者榮耀國(guó)服第一后羿。

據(jù)悉，「絕悟」名字寓意絕佳領(lǐng)悟力，其技術(shù)研發(fā)始于2017年12月，并在 2018 年 12 月通過(guò)了由前職業(yè)選手與主播聯(lián)隊(duì)帶來(lái)的頂尖業(yè)余水平測(cè)試。

「絕悟」在游戲測(cè)試中的對(duì)戰(zhàn)實(shí)況

此次測(cè)試的「絕悟」版本建立了基于「觀察-行動(dòng)-獎(jiǎng)勵(lì)」的深度強(qiáng)化學(xué)習(xí)模型，無(wú)需人類數(shù)據(jù)，從白板學(xué)習(xí)（Tabula Rasa）開始，讓 AI 自己與自己對(duì)戰(zhàn)，一天的訓(xùn)練強(qiáng)度抵得上人類 440 年。AI 從 0 到 1 摸索成功經(jīng)驗(yàn)，勤學(xué)苦練，既學(xué)會(huì)了如何站位、打野、輔助保護(hù)和躲避傷害等游戲常識(shí)。

而更令人驚喜的是，AI 也探索出了不同于人類常規(guī)做法的全新策略。團(tuán)隊(duì)還創(chuàng)建One Model模型提升訓(xùn)練效率，優(yōu)化通信效率提升 AI 的團(tuán)隊(duì)協(xié)作能力，使用零和獎(jiǎng)懲機(jī)制讓 AI 能最大化團(tuán)隊(duì)利益，使其打法果斷，有舍有得。

探索全新策略：開局時(shí)「絕悟」沒選擇傳統(tǒng)人類對(duì)線走位策略，而是由雙C位英雄虞姬和王昭君先一起清理中路第一波兵線，壓制敵方中輔。之后又轉(zhuǎn)上路壓制曹操血線。

長(zhǎng)線策略：對(duì)線期，賽區(qū)聯(lián)隊(duì)三人壓迫下路，「絕悟」果斷選擇用三個(gè) AI 反壓賽區(qū)聯(lián)隊(duì)的上路，最終雙方互換一塔，維持均勢(shì)。



團(tuán)隊(duì)協(xié)作：比賽中期，「絕悟」四人追擊娜可露露，AI 達(dá)摩一腳將娜可露露反踢入 AI 群中，再由四個(gè) AI 完美配合拿下自己的首殺。

即時(shí)策略：一對(duì)一時(shí)，賽區(qū)聯(lián)隊(duì)實(shí)力較強(qiáng)的曹操追擊「絕悟」虞姬，虞姬在殘血狀態(tài)退至高地。看到曹操抗塔血量大減后，把握機(jī)會(huì)絕地反殺。


即時(shí)策略+團(tuán)隊(duì)協(xié)作：比賽后期在賽區(qū)聯(lián)隊(duì)的上路高地塔團(tuán)戰(zhàn)，AI 王昭君先手被對(duì)方秒殺，「絕悟」果斷選擇反打，以漂亮的一波團(tuán)戰(zhàn)全殲對(duì)手。

即時(shí)策略+團(tuán)隊(duì)協(xié)作：在賽區(qū)聯(lián)隊(duì)全隊(duì)覆滅后， 「絕悟」的兵線尚未到達(dá)，下路高地塔還有過(guò)半血量，「絕悟」果斷選擇四人輪流抗塔，無(wú)兵線強(qiáng)拆塔。 注：賽事尾聲，賽區(qū)聯(lián)隊(duì)團(tuán)滅后，「絕悟」未直接推水晶，而是計(jì)算整體收益后，選擇先推最后一個(gè)高地塔，再推水晶直至勝利。

「絕悟」面臨的技術(shù)難點(diǎn)

游戲中測(cè)試的難點(diǎn)，是 AI 要在不完全信息、高度復(fù)雜度的情況作出復(fù)雜快速的決策。在龐大且信息不完備的地圖上，10位參與者要在策略規(guī)劃、英雄選擇、技能應(yīng)用、路徑探索及團(tuán)隊(duì)協(xié)作上面臨大量、不間斷、即時(shí)的選擇，這帶來(lái)了極為復(fù)雜的局面，預(yù)計(jì)有高達(dá)10的20000次方種操作可能性，而整個(gè)宇宙原子總數(shù)也只是10的80次方。

若 AI 能在如此復(fù)雜的環(huán)境中，學(xué)會(huì)人一樣實(shí)時(shí)感知、分析、理解、推理、決策到行動(dòng)，就可能在多變、復(fù)雜的真實(shí)環(huán)境中發(fā)揮更大作用。因此業(yè)界認(rèn)為下一個(gè) AI 里程碑，可能會(huì)在復(fù)雜策略游戲中誕生。世界頂級(jí)科技公司均在推進(jìn)此類研究，如Google Deepmind（星際爭(zhēng)霸2）、Facebook（星際爭(zhēng)霸2） 及 Open AI（Dota 2）等。

關(guān)于「絕悟」更多技術(shù)細(xì)節(jié)解讀，騰訊 AI Lab 表示將通過(guò)論文等形式進(jìn)一步分享，并通過(guò)開放研究，幫助和啟發(fā)更多研究者。

騰訊 AI Lab 在智能體研究中取得的進(jìn)展

騰訊 AI Lab 一直是此類智能體研究的先行者。2016年起，研發(fā)的圍棋 AI 「絕藝」（Fine Art），現(xiàn)擔(dān)任中國(guó)國(guó)家圍棋隊(duì)訓(xùn)練專用 AI ；2017年，啟動(dòng)「絕悟」研發(fā)；2018 年，「絕悟」達(dá)到業(yè)余頂尖水平，騰訊還在射擊類頂級(jí) AI 競(jìng)賽 VizDoom 奪冠，并在《星際爭(zhēng)霸2》首先研發(fā)出擊敗內(nèi)置 AI 的智能體。

而這兩次技術(shù)水平測(cè)試結(jié)果代表騰訊在深度強(qiáng)化學(xué)習(xí)、多智能體決策智能課題上的國(guó)際級(jí) AI 研究水準(zhǔn)，也標(biāo)志著公司在攻堅(jiān)通用人工智能（ Artificial General Intelligence）難題上更進(jìn)一步。

對(duì)在這兩次技術(shù)水平測(cè)試中所取得的成果，騰訊副總裁姚星介紹，「電子競(jìng)技」將成為策略協(xié)作型AI「絕悟」未來(lái)短期內(nèi)的主要應(yīng)用場(chǎng)景。作為數(shù)字時(shí)代最受年輕人歡迎的運(yùn)動(dòng)，電競(jìng)已于2018年成為亞運(yùn)會(huì)表演項(xiàng)目，中國(guó)隊(duì)參賽獲兩金一銀的佳績(jī)。與傳統(tǒng)體育項(xiàng)目一樣，電競(jìng)職業(yè)選手也需要手眼腦協(xié)調(diào)、策略和操作快速反應(yīng)、團(tuán)隊(duì)協(xié)作精神及大量刻苦訓(xùn)練。借助在算法和數(shù)據(jù)方面的優(yōu)勢(shì)， AI 可為職業(yè)選手提供數(shù)據(jù)、戰(zhàn)略與協(xié)作類實(shí)時(shí)分析與建議，及不同強(qiáng)度與級(jí)別的專業(yè)陪練。以前沿科技推動(dòng)電競(jìng)專業(yè)化發(fā)展，AI 將繼續(xù)推動(dòng)中國(guó)電競(jìng)在全球范圍內(nèi)保持領(lǐng)先。

而長(zhǎng)期應(yīng)用上，「絕悟」將是騰訊攻克 AI 終極研究難題——通用人工智能的關(guān)鍵一步。AGI 代表研發(fā)能在通用系統(tǒng)中執(zhí)行多種復(fù)雜命令，達(dá)到或超越人類水平的 AI ，從「絕藝」到「絕悟」，不斷讓 AI 從0到1去學(xué)習(xí)進(jìn)化，并發(fā)展出一套合理的行為模式，這中間的經(jīng)驗(yàn)、方法與結(jié)論，長(zhǎng)期來(lái)看，有望在大范圍內(nèi)，如醫(yī)療、制造、無(wú)人駕駛、農(nóng)業(yè)到智慧城市管理等領(lǐng)域帶來(lái)更深遠(yuǎn)影響。

來(lái)源 | 雷鋒網(wǎng)
作者 | 叢末