千呼萬(wàn)喚始出來(lái)，王小川的百川智能，終于發(fā)布了他們的第一個(gè)大模型成果：baichuan-7B。

4月第一次與媒體見(jiàn)面時(shí)，王小川對(duì)于百川大模型顯得相當(dāng)自信，而“年底爭(zhēng)取發(fā)布國(guó)內(nèi)最好的大模型”的豪言壯語(yǔ)，一時(shí)甚至有些刺耳。

而短短2個(gè)半月過(guò)去，百川所發(fā)布的 baichuan-7B，卻足以讓不少質(zhì)疑的人為之“噤聲”。

一、大幅領(lǐng)先，最強(qiáng)7B

評(píng)判大模型孰優(yōu)孰劣，盡管當(dāng)下仍然是個(gè)“非共識(shí)”，但榜單跑分仍然是印證 AI 能力相當(dāng)重要的一個(gè)路子。而 baichuan-7B 在榜單上的表現(xiàn)，的確令人印象深刻。

在三個(gè)最具影響力的中文評(píng)估基準(zhǔn)中，baichuan-7B 在同等參數(shù)量級(jí)大模型中的綜合評(píng)分十分亮眼：

在由微軟研究院發(fā)起的評(píng)測(cè)標(biāo)準(zhǔn) AGI Eval 中，baichua 7B 綜合評(píng)分34.4，在中國(guó)高考、司法考試、SAT、LSAT、GRE 等考試中發(fā)揮很好，領(lǐng)先于LLaMa-7B、Falcon-7B、Bloom-7B 以及 ChatGLM-6B 等不少競(jìng)爭(zhēng)對(duì)手；

而在 C-Eval——由上交、清華、愛(ài)丁堡大學(xué)三個(gè)頂級(jí)院校聯(lián)合創(chuàng)建的評(píng)測(cè)標(biāo)準(zhǔn)中，baichuan-7B 發(fā)揮同樣出色。在覆蓋了52個(gè)學(xué)科的測(cè)評(píng)中，baichuan-7B 獲評(píng)34.4分，在同量級(jí)產(chǎn)品中排名第一。

在這次跑分中，baichuan-7B 的表現(xiàn)甚至比起一些參數(shù)量級(jí)更大的模型更優(yōu)秀，其中有些參數(shù)甚至是 baichuan-7B 的四倍以上。榜單上，比起130億參數(shù)的 GLM-130B 一個(gè)月前的測(cè)試結(jié)果， baichuan-7B 的綜合評(píng)分也僅相差1.2分。

而在復(fù)旦大學(xué)研究團(tuán)隊(duì)所創(chuàng)建的 GAOKAO 評(píng)測(cè)框架中，baichuan-7B 在高考題目上的表現(xiàn)同樣驚艷，不僅評(píng)分在同參數(shù)量級(jí)的模型中拔得頭籌，并且領(lǐng)先第二名近8分。

中文評(píng)測(cè)在三個(gè)榜單拿到第一，而 baichuan-7B 卻并不“偏科”，在由美國(guó)諸多名校聯(lián)合劃定的 MMLU 英文評(píng)估基準(zhǔn)上，評(píng)分也超過(guò)了包括 ChatGLM-6B，LLaMA-7B等開(kāi)源模型，在英文跨學(xué)科專(zhuān)業(yè)能力上同樣令人信任。

就如同一個(gè)“高考狀元，baichuan-7B 成績(jī)斐然的背后，百川智能有幾個(gè)“獨(dú)門(mén)秘籍”

首先，是大規(guī)模、高質(zhì)量訓(xùn)練語(yǔ)料庫(kù)的構(gòu)建。如果把面對(duì)評(píng)測(cè)的大模型，比作即將面臨考試的應(yīng)考生，那訓(xùn)練語(yǔ)料就是他們的學(xué)習(xí)資料和課程——如果沒(méi)有足夠好的課程，學(xué)生頭腦再聰明也是枉然。

在構(gòu)建數(shù)據(jù)集的時(shí)候，百川在中英文兩方面的數(shù)據(jù)篩選都采用了獨(dú)特的手段：

為了保證語(yǔ)料質(zhì)量，百川使用了質(zhì)量模型對(duì)數(shù)據(jù)打分，以完成對(duì)原始數(shù)據(jù)集“篇章級(jí)”和“句子級(jí)”的精確篩選；

而在預(yù)料多樣性方面，百川為此專(zhuān)研了超大規(guī)模局部敏感哈希聚類(lèi)系統(tǒng)和語(yǔ)義聚類(lèi)系統(tǒng)，以完成對(duì)數(shù)據(jù)的多層次多粒度聚類(lèi)。

在這兩招之下，baichuan-7B 70億參數(shù)量級(jí)的大模型，背后有了一個(gè)包含1.2萬(wàn)億 Token 的高質(zhì)量與訓(xùn)練數(shù)據(jù)，內(nèi)功相當(dāng)深厚。

其次，是訓(xùn)練效率的提升。資料和課程到位，這位“考生”就要對(duì)這些知識(shí)進(jìn)行高效率的學(xué)習(xí)和消化。就如同學(xué)習(xí)方法之于考生，訓(xùn)練效率至于大模型也同等重要——掌握了正確的方法，往往事半功倍。

寥寥數(shù)月，100天左右的時(shí)間，baichuan-7B 能夠迅速“出彩”的一個(gè)重要原因，就是高效率的訓(xùn)練過(guò)程。

為了做到這一點(diǎn)，baichuan-7B深度整合了模型算子來(lái)加快計(jì)算流程，并針對(duì)任務(wù)負(fù)載和集群配置，自適應(yīng)優(yōu)化了模型并行策略以及重計(jì)算策略。

通過(guò)高效的訓(xùn)練過(guò)程調(diào)度通信，baichuan-7B成功地實(shí)現(xiàn)了計(jì)算與通信的高效重疊，進(jìn)而達(dá)到了超線(xiàn)性的訓(xùn)練加速，在千卡集群上，訓(xùn)練吞吐達(dá)到 180+ Tflops。

同時(shí)，通過(guò)更優(yōu)的訓(xùn)練流程設(shè)計(jì)和超參數(shù)選擇，baichuan-7B 的收斂速度獲得了重大的提升，也就讓其在困惑度（PPL）和訓(xùn)練損失（Training loss）的表現(xiàn)上更加優(yōu)秀。

最后，是更好的算法優(yōu)化。有好的復(fù)習(xí)材料，也有足夠高效的學(xué)習(xí)方法，單有這兩點(diǎn)，還不足以產(chǎn)生一個(gè)“狀元”。類(lèi)比考生的天資，算法的實(shí)力也同等重要。

這一點(diǎn)，在 baichuan-7B 上，主要體現(xiàn)在更大的窗口長(zhǎng)度。

為了能讓大模型在訓(xùn)練和推理階段，捕捉更多的上下文信息，以更好的完成一些長(zhǎng)文本建模任務(wù)，窗口長(zhǎng)度對(duì)于大模型能力的制約相當(dāng)明顯。

基于高效的attention算子優(yōu)化，百川智能實(shí)現(xiàn)了萬(wàn)級(jí)別超長(zhǎng)動(dòng)態(tài)窗口的擴(kuò)張能力。2倍于已有開(kāi)源模型的窗口長(zhǎng)度，baichuan-7B 把這個(gè)參數(shù)做到了4k，理解能力相比過(guò)去獲得了巨大的提升，也能夠諸如搜索增強(qiáng)、知識(shí)嵌入的下游應(yīng)用場(chǎng)景完成拓展。

更優(yōu)、更多樣、更大的數(shù)據(jù)，加上更高效、更收斂的訓(xùn)練，再配上更強(qiáng)的上下文理解能力，baichuan-7B 的斐然成績(jī)并不是偶然。

二、開(kāi)源免費(fèi)商用，海納百川的“百川戰(zhàn)略”

海納百川，從百川智能官宣的第一天起，就是王小川創(chuàng)業(yè)的關(guān)鍵精神。

從這個(gè)角度看，baichuan-7B 選擇開(kāi)源，就稱(chēng)不上是“意料之外”。

代碼采用 Apache-2.0 協(xié)議，模型權(quán)重采用免費(fèi)商用協(xié)議，堪稱(chēng)“最強(qiáng)7B”的 baichuan-7B，如同一本打開(kāi)的書(shū)，開(kāi)放給社會(huì)各界——包括商用——來(lái)使用。

這次開(kāi)源，baichuan-7B 開(kāi)放了推理代碼、INT4量化實(shí)現(xiàn)、微調(diào)代碼，以及預(yù)訓(xùn)練模型的權(quán)重。對(duì)用戶(hù)的模型調(diào)優(yōu)優(yōu)化、低成本應(yīng)用部署，乃至于其他研究者利用 baichuan-7B 完成研究，都有很大的助力。

開(kāi)放的開(kāi)源精神，也讓 baichuan-7B獲得了清華和北大，兩所中國(guó)頂級(jí)高校的青睞。

在清華互聯(lián)網(wǎng)司法研究院，計(jì)算機(jī)系教授劉奕群看中了 baichuan-7B 在中文上的效果表現(xiàn)，并計(jì)劃在此基礎(chǔ)上，開(kāi)展司法人工智能領(lǐng)域的相關(guān)研究。

而在北大，人工智能研究所的助理教授楊耀東則表示， 在 baichuan-7B 的開(kāi)源之下，中文基礎(chǔ)語(yǔ)言模型的生態(tài)建設(shè)和學(xué)術(shù)研究，都將獲得裨益。

據(jù)披露，清北兩所高校表示，己計(jì)劃在未來(lái)與百川智能深入合作，來(lái)一起推動(dòng) baichuan-7B 的應(yīng)用和發(fā)展。

結(jié)語(yǔ)：

看著 baichuan-7B 一路“過(guò)關(guān)斬將”，不由得讓人開(kāi)始相信，王小川“年底爭(zhēng)取做國(guó)內(nèi)最好大模型”的發(fā)言，似乎并不只是豪言壯語(yǔ)。

而這次成功的首發(fā)，也讓百川——乃至整個(gè)大模型創(chuàng)業(yè)界——看到了更大的動(dòng)力和希望。

在接受雷峰網(wǎng)采訪(fǎng)時(shí)，百川智能的技術(shù)團(tuán)隊(duì)表示：

“這次開(kāi)源一個(gè)7B的模型，并且在公開(kāi)評(píng)測(cè)集上有著優(yōu)異表現(xiàn)，就足以證明百川的產(chǎn)品與技術(shù)理念，以及我們?cè)诖竽Ｐ皖I(lǐng)域的競(jìng)爭(zhēng)力，也為我們后續(xù)的研發(fā)提供了更多信心?！?/p>

對(duì)于百川來(lái)說(shuō)，盡管結(jié)結(jié)實(shí)實(shí)地“秀”了一次肌肉，但 7B 規(guī)模參數(shù)的模型絕不是終點(diǎn)。小試牛刀之后，王小川下一步的動(dòng)作，在當(dāng)下相當(dāng)令人期待。

4月與媒體見(jiàn)面，王小川曾說(shuō)過(guò)，“我們都是第一批邁入新時(shí)代的人類(lèi)”，都有焦慮和好奇。

2個(gè)月過(guò)去，百川到達(dá)了自己的第一個(gè)里程碑。而大模型舞臺(tái)的幕布，也正被徐徐地揭開(kāi)。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。