5月24日，騰訊“混元”AI大模型在CLUE（中文語言理解評測集合）總排行榜、閱讀理解、大規(guī)模知識圖譜三個榜單同時登頂，一舉打破三項紀錄。

據(jù)了解，CLUE總榜由分類任務和閱讀理解任務構(gòu)成。騰訊“混元”AI大模型在一個月內(nèi)先后實現(xiàn)分類任務、閱讀理解雙佳績，最終以 84.730的成績?nèi)〉每偘竦谝弧?/p>

作為中文最具權威的自然語言理解榜單之一，CLUE共開設了包含文本相似度、分類、上下文推理、閱讀理解在內(nèi)的9項子任務，旨在推動NLP（自然語言處理預）訓練模型技術的不斷進步和突破。

NLP（自然語言處理）技術是人工智能領域的一個核心研究方向，其目的是使得計算機具備人類的聽、說、讀、寫等能力，并利用知識和常識進行推理和決策。目前，越來越多的科技企業(yè)和研發(fā)機構(gòu)投入到該領域的研究當中，在CLUE等業(yè)界榜單的競爭也十分激烈。

在預訓練階段，除常規(guī)公開數(shù)據(jù)集之外，“混元”大模型還學習了商業(yè)領域特有的文本數(shù)據(jù)集。因此，相較于業(yè)界其他AI大模型，“混元”能夠更好地理解各種長度文本信息，應對搜索、廣告、新聞、問答等多樣化的場景任務，在閱讀理解、知識圖譜相關的下游任務中也更加具有優(yōu)勢。

除性能提升之外，“混元”大模型通過借助數(shù)據(jù)及模型課程學習、多短句合并掩碼、改進PowerSGD（優(yōu)化通信算法）等方法，有效壓縮低帶寬環(huán)境下GPU節(jié)點訓練的通信數(shù)據(jù)量和通信耗時，實現(xiàn)訓練效率的大幅提升。

目前，騰訊“混元”AI大模型研發(fā)團隊已經(jīng)將改進的PowerSGD方法貢獻給PyTorch開源社區(qū)，將在PyTorch下個版本中正式上線。

得益于“混元”AI大模型在自然語言理解、跨模態(tài)檢索領域強大的技術能力，自今年4月以來，該模型已成功斬獲MSR-VTT、MSVD、CLUE等各大權威AI榜單榜首，這意味著，騰訊在人工智能領域的技術研發(fā)已取得突破性進展。

目前，“混元“NLP大模型已經(jīng)應用于騰訊內(nèi)部多個業(yè)務，并在騰訊廣告的數(shù)據(jù)挖掘任務中帶來超過5%的指標提升，提升廣告推薦的精準度，優(yōu)化用戶體驗。未來，騰訊混元AI大模型研發(fā)團隊將根據(jù)具體場景需求持續(xù)推進大模型的研究和優(yōu)化，加速AI技術在各個產(chǎn)業(yè)的應用和落地。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。