0
過去幾年，人工智能的浪潮一次又一次刷新人們的想象：模型變得更大、算力更強、應(yīng)用更廣。
但在光鮮的成果背后，一個更深層的問題被不斷暴露 —— AI 真的“理解”世界了嗎？它能記住對話，卻常常忘記語境，能生成答案，卻未必明白問題的由來。人們開始意識到，智能的邊界，不在算法，而在語境。
正是在這樣的背景下，上交大生成式人工智能實驗室（GAIR Lab）提出了一個顛覆性的觀點：人工智能的本質(zhì)不是算力革命，而是“上下文革命”。 他們在最新論文中，把“上下文”從語言模型的附屬概念，提升為智能系統(tǒng)的核心結(jié)構(gòu)，認(rèn)為系統(tǒng)理解世界的方式，取決于它如何吸收、組織并重構(gòu)語境。
這項研究通過回溯上下文系統(tǒng)的演化歷史，結(jié)合大量系統(tǒng)實驗與理論建模，提出了“上下文工程”（Context Engineering）這一全新學(xué)科框架。團隊發(fā)現(xiàn)，從早期依賴傳感器和規(guī)則的 Context 1.0，到能夠跨模態(tài)理解語義的智能體 2.0，AI 的每一次躍遷，都是一次對“語境吸收力”的升級。
在參數(shù)增長趨于極限的當(dāng)下，這項研究像是在為人工智能指明新的出路：當(dāng)機器不再只是記住語境，而能理解并創(chuàng)造語境，也許，那才是真正的智能時代的開始。
這篇論文的實驗結(jié)果揭示了一個重要規(guī)律：人工智能的進(jìn)步，歸根結(jié)底取決于系統(tǒng)對“上下文”的理解和利用能力，也就是它能多好地吸收、組織和重構(gòu)語境。
作者通過比較不同代的智能系統(tǒng)，總結(jié)出了上下文工程的發(fā)展路徑。他指出，從最早依賴傳感器和規(guī)則運行的系統(tǒng)（比如 Context Toolkit、Cooltown），到如今能理解自然語言和多模態(tài)信息的智能體（如 ChatGPT、LangChain、Letta），智能的提升，其實就是系統(tǒng)能處理的語境越來越復(fù)雜。
早期的系統(tǒng)只能根據(jù)明確輸入作出反應(yīng)，而現(xiàn)在的系統(tǒng)已經(jīng)能通過語義推理理解人類意圖，做出更自然的互動，這標(biāo)志著上下文工程正式進(jìn)入了 2.0 階段。
實驗還進(jìn)一步預(yù)測了智能的發(fā)展方向。隨著系統(tǒng)理解語境的能力越來越強，它未來會逐步具備類似人類的思維方式，能理解社會語境甚至情感因素，最終可能進(jìn)化成能主動創(chuàng)造語境的“超人智能”。
為了驗證這種演化趨勢，作者提出了上下文工程的函數(shù)定義：CE:(C,T)→f_context。這個定義的意義在于，它把提示工程、檢索增強和記憶管理等不同方法都統(tǒng)一到了一個數(shù)學(xué)框架下，為上下文的工程化提供了理論基礎(chǔ)。
在系統(tǒng)對比實驗中，研究發(fā)現(xiàn)現(xiàn)代智能體的上下文系統(tǒng)在輸入容忍度、記憶層級化、多模態(tài)融合以及多智能體協(xié)作等方面都有明顯進(jìn)步。
值得一提的是，現(xiàn)在的系統(tǒng)不再只是簡單地存儲文本，而是能通過時間標(biāo)記、語義壓縮和層級摘要的方式構(gòu)建結(jié)構(gòu)化語境，不同任務(wù)或子智能體之間還能共享上下文。
實驗結(jié)果表明，這種短期與長期記憶相結(jié)合的設(shè)計大大提高了系統(tǒng)的穩(wěn)定性和擴展性，而所謂的“自烘焙”機制則通過語義壓縮有效解決了超長對話帶來的信息冗余和語境污染問題。
此外，檢索機制的優(yōu)化使系統(tǒng)能在語義相關(guān)性、邏輯依賴與時序一致性之間實現(xiàn)動態(tài)平衡，進(jìn)一步增強了對用戶隱性意圖的捕捉能力。
實驗還發(fā)現(xiàn)，Transformer 模型在處理長時語境時會出現(xiàn)注意力衰減和語義漂移等問題，這暴露出現(xiàn)有架構(gòu)在“終身上下文”處理方面的不足。為了解決這些問題，作者提出了“Lifelong Context”的概念，認(rèn)為要構(gòu)建可持續(xù)、能不斷進(jìn)化的語境記憶系統(tǒng)，就必須使用新的語義壓縮算法和一致性維護(hù)機制。
綜合所有發(fā)現(xiàn)，論文得出的結(jié)論是：現(xiàn)代智能體的發(fā)展方向，正在從“被動響應(yīng)”向“主動構(gòu)建語境”轉(zhuǎn)變。上下文工程的核心目標(biāo)，就是讓系統(tǒng)不僅能理解語境，還能組織、加工、甚至重寫語境。這種能力，正是提升語言模型性能的根本，也是實現(xiàn)真正通用人工智能的關(guān)鍵。
論文的實驗經(jīng)過大致可以分為三個階段。研究從上下文工程的整體框架出發(fā)，目的是在大型語言模型和智能體快速發(fā)展的背景下，探索模型性能與上下文質(zhì)量之間的關(guān)系。作者認(rèn)為，模型越智能，就越依賴語境信息的完整性與組織方式，因此希望通過歷史回顧和實證對比，建立一種系統(tǒng)化的上下文工程方法。
在第一階段，研究采用歷史比較的方式，分析了從 1990 年代到現(xiàn)在的兩代上下文系統(tǒng)。早期的 Context 1.0 主要依賴傳感器和固定規(guī)則來感知環(huán)境，屬于結(jié)構(gòu)化邏輯系統(tǒng)，而如今的 Context 2.0 已能理解自然語言，利用檢索增強和長記憶機制來處理復(fù)雜語境，顯著提升了理解與推理能力。
第二階段，團隊進(jìn)行了系統(tǒng)性對比實驗，選取了多個具有代表性的系統(tǒng)——從早期的 Context Toolkit 和 Cooltown，到現(xiàn)代的 ChatGPT、LangChain、Claude、Letta 等，重點比較它們在信息采集、管理和使用上的不同。實驗發(fā)現(xiàn)，現(xiàn)代系統(tǒng)在語義壓縮和上下文存儲方式上都有顯著改進(jìn)，更擅長整合多源數(shù)據(jù)并保持語義連續(xù)。
到了第三階段，實驗的重點就來到了理論驗證。作者提出了上下文工程的函數(shù)化定義和“熵減模型”，認(rèn)為上下文處理其實是一個“信息壓縮”過程：人類能憑語境自動理解省略的內(nèi)容，而機器則需要先將復(fù)雜語境壓縮成低熵、可計算的形式。基于這一思路，論文構(gòu)建了一個完整的上下文處理流程，包括信息采集、記憶管理和任務(wù)執(zhí)行等環(huán)節(jié)。雷峰網(wǎng)(公眾號：雷峰網(wǎng))
在實驗中，系統(tǒng)通過多種設(shè)備采集數(shù)據(jù)，如手機、可穿戴設(shè)備、虛擬現(xiàn)實和物聯(lián)網(wǎng)終端。在管理層面，系統(tǒng)建立了短期與長期記憶的層級結(jié)構(gòu)，用時間標(biāo)記、語義標(biāo)簽和摘要壓縮來組織信息。而在使用層面，不同智能體能通過結(jié)構(gòu)化消息共享語境，并根據(jù)語義相關(guān)性、邏輯關(guān)系和用戶偏好動態(tài)篩選信息，甚至能主動推測用戶意圖。
最后，研究團隊還進(jìn)行了“持續(xù)性上下文”實驗，測試系統(tǒng)在長期語境下的表現(xiàn)。結(jié)果發(fā)現(xiàn)，模型在長時間推理時容易出現(xiàn)注意力下降和語義漂移的問題。
為此，作者提出應(yīng)通過語義壓縮與一致性維護(hù)機制，構(gòu)建一種能夠長期保持穩(wěn)定的記憶體系，使系統(tǒng)能在時間維度上保持上下文的連貫和可靠。
總體來看，這些實驗構(gòu)成了上下文工程的核心驗證過程，證明了系統(tǒng)化的語境采集、管理和使用方法，能顯著提升智能體的理解能力與交互一致性。
整體看下來，這項研究的意義主要體現(xiàn)在三個方面。
首先，在理論上，它重新定義了“上下文工程”這門學(xué)科。作者第一次把它當(dāng)作一門獨立的工程領(lǐng)域來看待，并建立了一套比較完整的理論體系，把從早期的人機交互研究到如今的智能體技術(shù)都串聯(lián)起來。
通過數(shù)學(xué)化的建模，他們發(fā)現(xiàn)人工智能的每一次進(jìn)步，其實都與系統(tǒng)“理解和利用上下文”的能力提升有關(guān)。換句話說，智能的核心就在于能否真正讀懂語境。
在工程實踐上，這項研究推動了人工智能從“能感知”到“能理解”的轉(zhuǎn)變，也就是從被動響應(yīng)到主動協(xié)作。研究提出的“層級記憶結(jié)構(gòu)”讓系統(tǒng)能處理更長的任務(wù)和對話，還能在文本、圖像、音頻等不同模態(tài)之間建立統(tǒng)一的語義空間。
同時，通過子智能體機制和輕量級引用方式，系統(tǒng)在保持效率的同時也降低了出錯和信息污染的風(fēng)險。更重要的是，它還能根據(jù)用戶的習(xí)慣和偏好進(jìn)行自我學(xué)習(xí)，實現(xiàn)更個性化、更主動的交互體驗。
從長遠(yuǎn)來看，這項研究為未來的人工智能發(fā)展提供了新的方向。它為“人機共思”的新型系統(tǒng)奠定了理論基礎(chǔ)，也為具備長期記憶的智能體設(shè)計提供了可行路徑。雷峰網(wǎng)
最終，作者設(shè)想了一種全新的智能范式——“上下文即世界”，也就是說，未來的人工智能不只是理解人類提供的語境，而是能夠主動創(chuàng)造新的語境，成為人類思維與社會活動的一部分。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
