“l(fā)ossless long context is everything”，楊植麟不止一次表達(dá)過這一觀點，而月之暗面的最新動作也表明團(tuán)隊對這一觀點的堅定信仰。

3月18日，AI大模型初創(chuàng)企業(yè)——月之暗面宣布在大模型長上下文窗口技術(shù)上取得新的突破，Kimi 智能助手已支持200萬字超長無損上下文，并于即日起開啟產(chǎn)品“內(nèi)測”，用戶可到 Kimi 智能助手網(wǎng)頁版 kimi.ai 首頁申請體驗。

而這距離去年10月，Kimi 智能助手正式推出，最高可支持20萬漢字無損上下文輸入，才過去不到半年時間。

據(jù)介紹，Kimi 智能助手是月之暗面基于自研千億參數(shù)大模型——Kimi大模型（原Moonshot大模型）打造的對話式 AI 助手產(chǎn)品，一經(jīng)發(fā)布，最高可支持20萬漢字無損上下文輸入的能力創(chuàng)造了消費級AI產(chǎn)品所支持的上下文輸入長度紀(jì)錄。

面向全社會開放服務(wù)后，基于出色的長上下文處理能力，Kimi 智能助手幫助用戶解鎖了很多新的使用場景，比如專業(yè)學(xué)術(shù)論文的翻譯和理解、輔助分析法律問題、一次性整理幾十張發(fā)票、快速理解API開發(fā)文檔……

用戶在使用過后紛紛給予好評，認(rèn)為其是當(dāng)前最好用的智能助手之一。

而現(xiàn)在，月之暗面開始自己卷自己，不到半年時間，月之暗面就將 Kimi 智能助手的無損上下文長度提升了一個數(shù)量級， 從 20 萬字到 200 萬字，提高了10倍。

據(jù)月之暗面透露，為了達(dá)到更好的長窗口無損壓縮性能，研發(fā)和技術(shù)團(tuán)隊從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計和開發(fā)，不走“滑動窗口”“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點，才取得了新的突破。

月之暗面工程副總裁許欣然告訴雷峰網(wǎng)(公眾號：雷峰網(wǎng))，在過去的5個月里，基于相同成本、相同設(shè)備，Kimi大模型的響應(yīng)速度提升了近3倍。

200萬字漢字的上下文長度，能做什么

升級后的Kimi 智能助手到底能做哪些事情呢？

簡單來說，200萬字漢字的上下文長度，意味著它能夠解鎖海量的超長任務(wù)、復(fù)雜任務(wù)；快速學(xué)習(xí)一個新領(lǐng)域，kimi10分鐘速成定律；快速學(xué)習(xí)大模型推理、挖掘長篇故事情節(jié)中的深層次信息。

在溝通會現(xiàn)場，月之暗面展示了一些超長無損上下文的使用場景示例。比如，用戶上傳幾十萬字的經(jīng)典德州撲克長篇教程后，讓 Kimi 扮演德?lián)鋵＜覟樽约禾峁┏雠撇呗缘闹笇?dǎo)。

上傳一份完整的近百萬字中醫(yī)診療手冊，讓 Kimi 針對的用戶問題給出診療建議。

上傳英偉達(dá)過去幾年的完整財報，讓 Kimi 成為英偉達(dá)財務(wù)研究專家，幫用戶分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點。

上傳一個代碼倉庫里的源代碼，可以詢問 Kimi 關(guān)于代碼庫的所有細(xì)節(jié)，即便是毫無注釋的陳年老代碼也能幫助你快速梳理出代碼的結(jié)構(gòu)。

過去要 10000 小時才能成為專家的領(lǐng)域，現(xiàn)在只需要 10 分鐘，Kimi 就能接近任何一個新領(lǐng)域的初級專家水平。用戶可以跟 Kimi 探討這個領(lǐng)域的問題，讓 Kimi 幫助自己練習(xí)專業(yè)技能，或者啟發(fā)新的想法。有了支持 200 萬字無損上下文的Kimi，快速學(xué)習(xí)任何一個新領(lǐng)域都會變得更加輕松。

無損的長上下文，將是通往AGI的關(guān)鍵

如今，國內(nèi)大模型在歷經(jīng)持續(xù)了一年多的百模大戰(zhàn)后，市場競爭逐漸深化，切實提升模型能力，才是決定模型是否真正可用、好用的關(guān)鍵所在。而上下文長度也成為各大AI大模型公司比拼的一個焦點所在。

在許欣然看來，大模型無損上下文長度的數(shù)量級提升，將會進(jìn)一步幫助大家打開對AI應(yīng)用場景的想象力，包括完整代碼庫的分析理解、自主幫助大家完成多步驟復(fù)雜任務(wù)的智能體Agent、不會遺忘關(guān)鍵信息的終身助理，以及真正統(tǒng)一架構(gòu)的多模態(tài)模型，等等。

“無論是內(nèi)存、算力還是網(wǎng)絡(luò)帶寬，歷史上每一次基礎(chǔ)技術(shù)的升級，都會解鎖新的產(chǎn)品形態(tài)和應(yīng)用場景。我們對 200 萬無損上下文的 Kimi 可以帶來哪些超出想象力的創(chuàng)新機(jī)遇充滿期待?！?/p>

而楊植麟也不止一次公開表示，想要通往通用人工智能（AGI），無損的長上下文將會是一個很關(guān)鍵的基礎(chǔ)技術(shù)。從 word2vec 到 RNN、LSTM，再到Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無損的上下文長度。

“上下文長度可能存在摩爾定律，但需要同時優(yōu)化長度和無損壓縮水平兩個指標(biāo)，才是有意義的規(guī)?；！?/p>

之前，20 萬字的無損長上下文幫已經(jīng)幫助用戶打開了新的AI應(yīng)用世界。許欣然告訴雷峰網(wǎng)，用戶使用Kimi 智能助手能做的事情遠(yuǎn)遠(yuǎn)超過他們的想象，有很多好玩的玩法也是在看了用戶的使用評價之后才發(fā)現(xiàn)，“原來還可以這樣玩。”

而這也是月之暗面一直堅持的觀點——與用戶共創(chuàng)。

如今，伴隨模型能力的每日升級，iOS應(yīng)用、Android應(yīng)用、小程序、Web等多端平臺的上線，Kimi 智能助手已成為越來越多用戶工作和生活離不開的 AI 小助手。此次正式啟動 200 萬字超長上下文的內(nèi)測申請后，月之暗面會逐步開放更多用戶來體驗具備超長無損上下文能力的 Kimi 智能助手，期待與更多用戶共創(chuàng)智能。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。