為什麼《王者榮耀》是理想的人工智能強化學習競賽場
由騰訊遊戲天美工作室群研發的手遊《王者榮耀》自2015年發(fa)布以來，常年躋身最受歡迎的多(duo)人網上戰術競技遊戲（MOBA）之列。
鮮有人知的是(shi)，《王者榮耀》不(bu)僅是(shi)一款現象級(ji)手(shou)遊，還是(shi)進行(xing)AI研究的試金(jin)石(shi)。
在(zai)今年4月落幕的第(di)二屆開(kai)悟(wu)多智能體強化學習大賽中，充滿活力的學生(sheng)開(kai)發(fa)團隊構建了基於強化學習（RL）的AI算法，可用於《王者榮耀》中自主攻防對抗。
由五(wu)名清華(hua)大學(xue)學(xue)生組成的團(tuan)隊最(zui)終獲勝，他們表示，RL模型的理論能(neng)力在實際應用中(zhong)並不如想象般容易。
組長陳華玉同學表示，儘管自己和其他團隊成員都是《王者榮耀》的忠實玩家，但「一開始，我們甚至無法創建遊戲環境，更不用說訓練智能體玩遊戲了。」
他(ta)們用了(le)五(wu)個月時間處理源代(dai)碼，慢慢探(tan)索遊戲(xi)架構，與(yu)來自(zi)全國其他(ta)頂尖大學的19 支團隊展開(kai)激烈角(jiao)逐，最終(zhong)摘得桂冠。
深度學(xue)習迎接挑戰
過去，國(guo)際象棋和圍棋等(deng)棋盤類遊戲曾為深度RL算法提供了理想(xiang)的(de)試驗環境。Google旗下DeepMind開發的電腦程式AlphaGo堪稱(cheng)最廣為人知(zhi)的案例(li)之一。2016年，AlphaGo以4-1擊敗18次國際(ji)賽冠軍、傳(chuan)奇人物李世乭。
六年時光飛逝，遊(you)戲AI研究的(de)焦點已經從棋盤類遊戲(xi)轉移(yi)到更(geng)複雜的(de)例如隱藏資(zi)訊類遊戲(xi)和策(ce)略類電子(zi)遊戲(xi)。
《王者榮耀》作為一款5V5 MOBA類(lei)遊戲，具有高(gao)複雜度、高(gao)挑戰性(xing)、強協作性(xing)的特點，正(zheng)是 AI 研發(fa)所需要(yao)的理(li)想環境。
隨著大(da)賽賽程過(guo)半，其他團(tuan)隊(dui)(dui)後來居上，而清華大(da)學團(tuan)隊(dui)(dui)的排名(ming)卻(que)不斷下滑(hua)。有時(shi)(shi)，他們投入幾天的時(shi)(shi)間和精力訓練(lian)模型(xing)但改(gai)善甚微(wei)，而更糟糕的是模型(xing)會(hui)突然崩潰，團(tuan)隊(dui)(dui)不得不重新開(kai)始。
陳華(hua)玉說：「這是個艱難、緩慢且枯燥(zao)的過(guo)程，起(qi)初令人(ren)沮(ju)喪。但終(zhong)於，情況有了轉機。」
「我們仔細思(si)考了可能導致錯(cuo)誤的原因，然(ran)後一(yi)點點地對算法進行調整。突(tu)然(ran)之間，柳暗花明(ming)。」陳華玉設計的AI智能(neng)體在無數次迭代中不(bu)斷學習。對(dui)某一(yi)場景進行上千次訓練後(hou)，智能(neng)體可以計算出各(ge)個選項的(de)勝率(lv)，最終(zhong)選用最優(you)解。
解決實際問題
環(huan)境(jing)越(yue)複雜，訓練出的AI就(jiu)越(yue)聰明(ming)。騰訊AI實驗(yan)室總經理楊巍解(jie)釋(shi)道，遊戲提供了一個(ge)最(zui)優(you)的(de)研發(fa)環境，擁有明確的(de)目標(biao)和指(zhi)標(biao)，更容(rong)易進行(xing)測試(shi)和迭代。
「無論是由(you)人類測試員提供還是由(you)AI在(zai)(zai)對(dui)戰(zhan)中生成，數據都是直(zhi)接在(zai)(zai)虛擬世界中獲取(qu)，不需要額外(wai)的(de)傳感器和處理器，」楊巍(wei)表(biao)示，這類(lei)範式同樣可(ke)以更有效地解決現實問題。
楊巍補充道(dao)，如果AI可以像人類那樣，在《王者榮耀》等複雜遊戲中學會即時感知、分析、理解、推理、決策和行動，那就預示著它具有更大的潛力解決廣泛領域的問題，例如機械人、農業、交通和能源等。
騰(teng)訊開(kai)悟平臺的綜(zong)合(he)實(shi)力讓這項比賽成(cheng)為(wei)一(yi)個匯聚行業、學(xue)術界和研究機(ji)構的平臺。
獲(huo)勝秘訣
陳(chen)華玉認為，團隊分工(gong)明確、隊員工(gong)程(cheng)能(neng)力強(qiang)和實現完全(quan)自動(dong)化的(de)代理部署是他們此次比賽RL開發(fa)成功的關(guan)鍵(jian)。
「智能體發生(sheng)錯誤時，我(wo)(wo)們(men)知道(dao)算(suan)法的哪個部分出了問題(ti)，而(er)且我(wo)(wo)們(men)團(tuan)隊擁(yong)有豐(feng)富的工(gong)程經驗，可以(yi)幫助(zhu)我(wo)(wo)們(men)更快地找到並解決問題(ti)。」
在比賽的最後兩個(ge)月時間裏(li)，他(ta)們(men)已經可(ke)以完(wan)全自動化地部署(shu)智能(neng)體，甚至可(ke)以用AI選出(chu)最好的智能(neng)體。這樣一(yi)來，他(ta)們比(bi)其他(ta)團(tuan)隊效(xiao)率(lv)更高，便能(neng)夠(gou)進(jin)行更多實驗。
此外，每名成員被分配(pei)了明確具體的任務。陳華(hua)玉(yu)負責(ze)設計算(suan)法，一名隊員負責(ze)記錄和(he)跟蹤實驗，一人管理(li)神經網絡模型(xing)，另一人負責(ze)工程(cheng)、測試和(he)優(you)化。
培養下一代AI先行者(zhe)
在(zai)第二屆開悟多(duo)智能體強(qiang)化學習(xi)大賽一舉奪魁後，今年3月陳華玉帶領新團隊報名參加了第31屆世界大學生夏季運動會的數(shu)智(zhi)競技邀(yao)請賽。由(you)騰(teng)訊舉辦的開悟AI多智能體(ti)博弈賽(sai)道(dao)是(shi)邀請賽(sai)項目之(zhi)一。
陳華玉表(biao)示，數智競技邀請賽具(ju)有若干優勢，對(dui)學生(sheng)和(he)研究(jiu)人員(yuan)很(hen)有吸(xi)引(yin)力(li)。
「使用先進的智能(neng)(neng)算法(fa)需要大(da)量的算力，這超出了學生(sheng)個人甚至(zhi)許多大(da)學實驗(yan)室的能(neng)(neng)力。」
《王者榮耀》的世界規模龐大，如果研究人員單靠自己來進行那些測試，可能會耗時數年，成本亦令人望而卻步。而參賽團隊可以獲得騰訊開悟平臺提供的強大算力和雲服務。
因此(ci)，數智(zhi)競技(ji)邀請賽成為推動建(jian)立(li)新(xin)生態(tai)的推進器，將(jiang)產學研相結合，實現學生和機構之間的研究合作。參賽團隊來自加拿大、荷蘭、澳洲、美國和中國（包括香港）。借此(ci)機會，參賽者不僅可以與世界各地其他頂尖大學進行比拼，展開交流，而且可以在團隊內部和團隊之間建(jian)立(li)聯繫。
騰訊天美L1工作室總經理、《王者榮耀》項目執行製作人黃藍梟表示：「我們依託《王者榮耀》在AI和電競領域的沉澱，搭建充滿青春活力的世界大學生數智競技交流平臺。」來自不同國家和地區的青年學子在賽事中跨越語言與地域的差異，進一步加深國際青年群體間的相互尊重和友誼。
