作者 | 王悅

編輯 | 陳彩嫻

11月6日，李開復帶隊創(chuàng)辦的 AI 2.0 公司零一萬物，開源發(fā)布了Yi系列模型，包含 34B 和 6B 兩個版本。

令人驚艷的是，從參數(shù)量和性能上來看，Yi-34B 相當于只用了不及 LLaMA2-70B一半、Falcon-180B五分之一的參數(shù)量，碾壓 了LLaMA2-70B 和 Falcon-180B 等眾多大尺寸模型。憑借這一表現(xiàn)，躋身目前世界范圍內(nèi)開源最強基礎模型之列。

根據(jù) Hugging Face 英文開源社區(qū)平臺和 C-Eval 中文評測的最新榜單，Yi-34B 預訓練模取得了多項 SOTA 國際最佳性能指標認可，成為全球開源大模型「雙料冠軍」。這也是迄今為止唯一成功登頂 Hugging Face 全球開源模型排行榜的國產(chǎn)模型。

Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜（2023年11月5日）

雷峰網(wǎng)(公眾號：雷峰網(wǎng))獲悉，「Yi 」系列大模型，命名來自「一」的拼音。「Yi 」中的「Y」上下顛倒，巧妙形同漢字的「人」，結(jié)合 AI 里的 i ，代表Human + AI ，強調(diào)以人為本的精神，為人類創(chuàng)造巨大的價值。

零一萬物創(chuàng)始人及CEO李開復博士表示：「零一萬物堅定進軍全球第一梯隊目標，從招的第一個人，寫的第一行kl代碼，設計的第一個模型開始，就一直抱著成為‘World's No.1’的初衷和決心。」

從「AI 1.0」邁向「AI 2.0」，李開復說話算數(shù)，一步步向目前邁進。

一、零一萬物大模型 Yi 首次曝光

作為國產(chǎn)大模型， Yi-34B 不得不說的的優(yōu)勢之一就是更「懂」中文。對比大模型標桿GPT-4，在CMMLU、E-Eval、Gaokao 三個主要的中文指標上，Yi-34B 也具有絕對優(yōu)勢，能夠更好地適配國內(nèi)市場需求。

從更為全面的評估看，在全球大模型各項評測中最關鍵的 「MMLU」（Massive Multitask Language Understanding 大規(guī)模多任務語言理解）、BBH等反映模型綜合能力的評測集上，Yi-34B 同樣表現(xiàn)突出，在通用能力、知識推理、閱讀理解等多項指標評比中全部勝出，與 Hugging Face 評測高度一致。

各評測集得分：Yi 模型 v.s. 其他開源模型

在語言模型中，上下文窗口是大模型綜合運算能力的關鍵指標之一，對于理解和生成與特定上下文相關的文本至關重要，擁有更長窗口的語言模型可以處理更豐富的知識庫信息，生成更連貫、準確的文本。

據(jù)雷峰網(wǎng)了解，此次開源的 Yi-34B 模型，將發(fā)布全球最長、可支持 200K 超長上下文窗口（context window）版本，可以處理約40萬漢字超長文本輸入。理解超過 1000 頁的 PDF 文檔，讓很多依賴于向量數(shù)據(jù)庫構(gòu)建外部知識庫的場景，都可以用上下文窗口來進行替代。

相比之下，OpenAI 的 GPT-4 上下文窗口只有 32K，文字處理量約 2.5 萬字。今年三月，硅谷知名 AI 2.0 創(chuàng)業(yè)公司Anthropic 的 Claude2-100K 將上下文窗口擴展到了 100K 規(guī)模，零一萬物直接加倍，并且是第一家將超長上下文窗口在開源社區(qū)開放的大模型公司。

上下文窗口規(guī)模擴充從計算、內(nèi)存和通信的角度存在各種挑戰(zhàn)，零一萬物能做到這個程度也并非一蹴而就。受限于計算復雜度、數(shù)據(jù)完備度等問題，大多數(shù)發(fā)布的大型語言模型僅支持幾千 tokens 的上下文長度。

為了解決這個限制，零一萬物技術團隊實施了一系列優(yōu)化，包括：計算通信重疊、序列并行、通信壓縮等。通過這些能力增強，實現(xiàn)了在大規(guī)模模型訓練中近 100 倍的能力提升。

其實，Yi 系列模型之所以能取得如此亮眼的成績，背后的 AI Infra 是功不可沒的，其通過「高精度」系統(tǒng)、彈性訓和接力訓等全棧式解決方案，確保訓練高效、安全地進行。

憑借強大的 AI Infra 支撐，零一萬物團隊能實現(xiàn)超越行業(yè)水平的訓練效果，Yi-34B 模型訓練成本實測下降40%，實際訓練完成達標時間與預測的時間誤差不到一小時，進一步模擬上到千億規(guī)模訓練成本可下降多達 50%。

截至目前，零一萬物 Infra 能力實現(xiàn)故障預測準確率超過90%，故障提前發(fā)現(xiàn)率達到 99.9%，不需要人工參與的故障自愈率超過 95%，

無論是人前耀眼的成績還是背后基礎能力的攻堅，也都離不開零一萬物潛心數(shù)月練就的大模型 「科學訓模」方法論。

大模型效果依賴于更多、更高質(zhì)量的數(shù)據(jù)，零一萬物在數(shù)據(jù)處理管線上可謂「不惜成本」。

數(shù)據(jù)處理管線和加大規(guī)模預測的訓練能力建設，把以往的大模型訓練碰運氣的「煉丹」過程變得極度細致和科學化，不僅保證了目前發(fā)布 Yi-34B、Yi-6B 模型的高性能，也為未來更大規(guī)模模型的訓練壓縮了時間和成本，

經(jīng)過幾個月大量的建模和實驗，零一萬物自研出一套「規(guī)模化訓練實驗平臺」，用來指導模型的設計和優(yōu)化。數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實驗都可以在小規(guī)模實驗平臺上進行，對 34B 模型每個節(jié)點的預測誤差都可以控制在0.5%以內(nèi)。

在 Yi 開源模型的全球首發(fā)日，零一萬物 CEO 李開復也宣布，在完成 Yi-34B 預訓練的同時，已經(jīng)旋即啟動下一個千億參數(shù)模型的訓練?！噶阋蝗f物的數(shù)據(jù)處理管線、算法研究、實驗平臺、GPU 資源和 AI Infra 都已經(jīng)準備好，我們的動作會越來越快」。

二、從「AI 1.0」到「AI 2.0」

零一萬物的首次成果公布，體現(xiàn)的不僅是技術的進步，還有商業(yè)的可能性。

今年 3 月，李開復作了一場關于 AI 從 1.0 時代跨到 2.0 時代的演講。隨后，零一萬物在李開復所設想的 AI 2.0 框架下成立，招攬了前百度安全副總裁馬杰、前微軟副總裁祁瑞峰等等技術大咖，陣容豪華，引起業(yè)內(nèi)的廣泛關注。

過去十年，深度學習催生了一批優(yōu)秀的 AI 公司，隨后經(jīng)過多年的發(fā)展，在過去兩年曾進入短暫的低谷期，一度傳出 AI 泡沫、AI 寒冬的說法。其中的根源就在于：上一代 AI 公司盡管基于嶄新的技術立足，但在商業(yè)化上的步伐卻比預期慢。

而從去年 8 月 Stable Diffusion 掀起 AIGC 熱潮以來，加上去年11月底 ChatGPT 發(fā)布，全球 AI 突然看到了新的機會。這個新的機遇，被李開復稱為「AI 2.0」。

ChatGPT 之后，AI 時代的進步在技術上體現(xiàn)為通用人工智能（AGI）雛形初顯，在商業(yè)應用上則被李開復形容為平臺級的趨勢爆發(fā)。

所謂「平臺」，包含一個大的目標，即要大幅降低開發(fā) AI 應用的成本。如同電與電網(wǎng)的區(qū)別，電是一項偉大的發(fā)明，但如果沒有電網(wǎng)，就不會出現(xiàn)微波爐、電烤箱、電動車等新的發(fā)明。換言之，AI 2.0 之于 AI 1.0 的區(qū)別，就在于將 AI 技術變成平臺，將定制變成通用，將點變成面。

過去十年的商業(yè)實踐驗證了 AI 1.0 時代的瓶頸。在 AI 1.0 時代，數(shù)據(jù)越多、結(jié)果越好，但同時也因為需要大量的標注數(shù)據(jù)，成本巨大。此外，AI 1.0 時代的應用在各個領域是相互割裂的，誕生了一連串的「孤島應用」，無法形成有效的平臺。

但 AI 2.0 時代的技術基石是自監(jiān)督，可以讓 AI 模型不進行數(shù)據(jù)標注也能學習。雖然同樣需要將大量的、跨領域的數(shù)據(jù)拿來學習，但學習后形成一個基礎模型（即大模型）后再去做知識的遷移，AI 即相當于一個世界模型。經(jīng)過多年的訓練與積累，基礎模型更成熟，基于基礎模型再做平臺應用，即可打破 AI 應用的孤島現(xiàn)象，邊際效益與日俱增。

換言之，AI 2.0 時代有三大優(yōu)勢：一是減少人工標注；二是模型規(guī)模大，具備世界知識；三是能夠以極低的成本對基礎模型進行微調(diào)訓練，即可適應不同領域的任務。所以，在 AI 2.0 時代，每個領域都有機會將原有的應用重構(gòu)一遍，用更短的時間生產(chǎn)出更高質(zhì)量的數(shù)字內(nèi)容，而且千人千面、精準優(yōu)化信息流，做出更偉大的商業(yè)模式。

一方面，降低訓練成本是減少 AI 應用開發(fā)成本、催生一系列爆款應用的前提；另一方面，長文本處理是商業(yè)應用的一道攔路虎。如果長文本處理的技術瓶頸能突破，許多更高難度的應用也會被一一破解，如處理超長篇幅的法務合同、交叉對比多篇學術論文、基于長篇劇本進行角色扮演、通過多篇財報進行市場分析等等。

因此，「長文本處理」在下半年成為大模型賽道的兵家必爭之地。從 Anthropic AI 對 OpenAI 發(fā)起挑戰(zhàn)后，國內(nèi)多家大模型廠商也陸續(xù)推出長文本處理里程碑。如月之暗面的 Kimi Chat 支持 20 萬字輸入，百川智能的 Baichuan2-192k 支持 35 萬字輸入，零一萬物的 Yi-34B 迅速擴展到 40 萬字。

此次零一萬物團隊開源大模型 Yi-34B 與 Yi-6B，在長文本領域可以做到最長 200k 上下文窗口、40 萬字的文本處理，也與李開復此前談的 AI 2.0 思想相一致。同時，據(jù)零一萬物介紹，他們還依托基礎的計算設施與算法優(yōu)化等 Infra 能力，將訓練成本下降了 40%。

上傳到 Hugging Face 不過兩天后，Yi-34B 的下載量就超過了 1000 次，獲得了接近 150 個點贊。

長文本處理的技術突破，不僅是表面上關于 Token 數(shù)的數(shù)據(jù)變更，更重要的是其體現(xiàn)了人工智能領域整體對 AI 2.0 時代所蘊含的商業(yè)潛力的認同與樂觀。正是因為對大模型為代表的新一代 AI 技術的信心，才有如此多優(yōu)秀的技術人才涌入該賽道，在極短的時間內(nèi)快速突破了長文本等技術問題的局限。

據(jù)雷峰網(wǎng)了解，如今長文本處理已逐漸被熱情的 AI 技術人才攻破，目前業(yè)內(nèi)流行的技術方法包括：最簡單粗暴的堆顯存，或滑動窗口、降采樣等，或在 Attention-mask 中做動態(tài)內(nèi)插。這些方法的效果很好，缺點是計算開銷大。但在各大云計算廠商的加持下，算力壁壘也被逐漸打了下來。

可以看見，AI 進入一個新的時代毫無疑問已是行業(yè)共識。AI 2.0 代表一個新的商業(yè)愿景，道阻路長，玩家眾多，但后來者零一萬物也已成為其中最有潛力的團隊之一，期待零一萬物接下來的表現(xiàn)。

OpenAI 首屆開發(fā)者大會召開在即，AI 科技評論持續(xù)關注，歡迎同樣關注的朋友添加作者微信 s1060788086 一起交流。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。