2 月 18 日，馬斯克發(fā)布 Grok 3 的熱度還沒過去，梁文鋒就作為 co-authors 帶著 DeepSeek 研究團隊殺了回來。

公布新研究的推文發(fā)布不到 3 個小時，就帶來了三十多萬的瀏覽量，火爆程度不遜 OpenAI。

而這次 DeepSeek 團隊最新的研究論文更是重磅，論文中介紹了一種全新的，可用于超快速的長上下文訓練與推理的注意力機制 —— NSA，值得一提的是，NSA 還具有與硬件對齊的特點，十足的硬件友好。

論文中提到的 NSA 核心組成主要包括三點：分別是動態(tài)分層稀疏策略、粗粒度的 token 壓縮以及細粒度的 token 選擇。有了這三點核心技術(shù)的加持，就能夠在有效降低預訓練成本的情況下，同時顯著提升推理速度，特別是在解碼階段實現(xiàn)了高達 11.6 倍的提升。

更讓人感到眼前一亮的是，DeepSeek 創(chuàng)始人兼 CEO 梁文鋒這次也出現(xiàn)在了合著名單之中，不僅親自上陣，還親自提交了論文。

看熱鬧不嫌事大的網(wǎng)友甚至還借此調(diào)侃奧特曼：DeepSeek 又發(fā)了一篇很強的新論文了哦！

DeepSeek 填補了稀疏注意力機制存在的缺陷

隨著 AI 領域的不斷發(fā)展，長上下文建模能力的關(guān)鍵性日益凸顯，尤其在現(xiàn)實世界的應用中有著廣泛需求，比如深度推理、代碼庫級代碼生成和多輪自主代理系統(tǒng)。就比如 DeepSeek 自家的 R1 模型就是突破了這個技術(shù)，使其能夠處理整個代碼庫、長篇文檔，并保持成千上萬 token 的對話連貫性，同時也能在長距離依賴的情境下進行復雜推理。

但序列越來越長，傳統(tǒng)的注意力機制就開始因為太過復雜成為了造成運行延遲的最大因素。理論分析顯示，使用 softmax 架構(gòu)的注意力計算在解碼 64k 長度的上下文時，幾乎占據(jù)了總延遲的 70-80%，傳統(tǒng)注意力機制存在明顯缺陷，提升速度成了一件非常重要的事情。

并且自然的實現(xiàn)高效長上下文建模的方法是利用 softmax 注意力的固有稀疏性，選擇性地計算關(guān)鍵的 query-key 對，從而大幅降低計算開銷，并保持模型性能。

近年來，相關(guān)研究在這一方向取得了進展，提出了如 KV 緩存淘汰、塊狀 KV 緩存選擇，以及基于采樣、聚類或哈希的選擇方法等策略。盡管這些方法展示了很大的潛力，但現(xiàn)有的稀疏注意力技術(shù)在實際部署時種仍未能達到預期效果。并且大部分研究主要集中于推理階段，缺乏對訓練階段有效支持，因此并不能充分發(fā)揮稀疏模式的優(yōu)勢。

為實現(xiàn)更高效的稀疏注意力，DeepSeek 研究團隊提出了一種原生可訓練的稀疏注意力架構(gòu) NSA，這個架構(gòu)的核心內(nèi)容是通過動態(tài)分層稀疏策略，結(jié)合粗粒度的 token 壓縮和細粒度的 token 選擇，從而保留全局上下文感知能力和局部精確性。

同時 NSA 通過精妙的算法設計和針對現(xiàn)代硬件的優(yōu)化，實現(xiàn)在計算速度上的顯著提升，并支持端到端訓練，既提高了推理效率，又減少了預訓練計算量，同時保持了模型性能。

除此之外，新研究還通過使用 Triton，開發(fā)了與硬件高度兼容的稀疏注意力內(nèi)核。

DeepSeek 的優(yōu)化策略則是采用不同的查詢分組方法，并通過以下特性實現(xiàn)接近最優(yōu)的計算強度平衡：

1、組內(nèi)數(shù)據(jù)加載：每次內(nèi)循環(huán)加載該組所有頭的查詢及其共享的稀疏 KV 塊索引。

2、共享KV加載：內(nèi)循環(huán)中連續(xù)加載 KV 塊，減少內(nèi)存加載的開銷。

3、網(wǎng)格循環(huán)調(diào)度：由于內(nèi)循環(huán)長度在不同查詢塊間幾乎相同，將查詢/輸出循環(huán)與 Triton 的網(wǎng)格調(diào)度器結(jié)合，簡化并優(yōu)化了內(nèi)核的執(zhí)行。

DeepSeek：NSA 已在多面碾壓全注意力

在對 NSA 進行技術(shù)評估時，研究人員分別從通用基準性能、長文本基準性能、思維鏈推理性能三個角度，分別將 NSA 與全注意力基線和 SOTA 稀疏注意力方法進行比較。

測試中 NSA 的預訓練損失曲線相比全注意力基線呈現(xiàn)出更加穩(wěn)定和平滑的下降趨勢，且始終優(yōu)于全注意力模型。

除此之外，為了驗證 NSA在實際訓練和推理中的效果，DeepSeek 研究團隊采用了當前領先的 LLM 常用實踐，選擇了一個結(jié)合分組查詢注意力（GQA）和混合專家（MoE）架構(gòu)的模型作為樣本，該模型的總參數(shù)量為 27B，其中 3B 為活躍參數(shù)。

在這個基礎上，DeepSeek 對 NSA、全注意力和其他注意力機制分別進行了評估。結(jié)果顯示，盡管 NSA 采用了稀疏性，但其整體性能仍然優(yōu)于所有基線模型，包括全注意力模型，并且在 9 項評測指標中有 7 項表現(xiàn)最好。

另外，在長上下文任務中， NSA 在 64k 上下文的“大海撈針”測試中表現(xiàn)出了極高的檢索精度。這歸功于其分層稀疏注意力設計，通過粗粒度的token壓縮實現(xiàn)了高效的全局上下文掃描，同時通過細粒度的選擇性標記來保留關(guān)鍵的信息，從而有效平衡了全局感知與局部精確度。

同時研究團隊還在 LongBench 基準上，也對 NSA 進行了評估。最終 NSA 以最高平均分0.469，優(yōu)于其他所有基準。

在思維鏈推理性能評估方面，研究人員通過從 DeepSeek-R1 進行知識蒸餾，并借助 100 億條 32k 長度的數(shù)學推理軌跡進行了監(jiān)督微調(diào)（SFT）。

最后用 AIME 24 基準來評估所生成的兩個模型Full Attention-R（全注意力基準模型）和 NSA-R（稀疏變體模型）的表現(xiàn)。

在 8k 上下文設置下，NSA-R 的準確率超過了 Full Attention-R，差距為 0.075。即使在 16k 上下文環(huán)境中，NSA-R 仍然保持著這一優(yōu)勢，準確率高出 0.054。

NSA 驗證清華姚班早期論文

值得一提的是，論文末尾提到的處理復雜數(shù)學問題的示例，再次驗證了兩年前清華大學姚班一篇論文中的結(jié)論。

由于 Transformer 架構(gòu)在注意力機制上的局限，處理復雜數(shù)學問題時，tokens 數(shù)量過多常常會導致性能下降，特別是在任務復雜度較高時。

DeepSeek 的最新研究通過優(yōu)化問題理解和答案生成，將所需的tokens數(shù)量減少至 2275，從而成功得出了正確答案。而與之對比的基線方法，盡管消耗了 9392 個 tokens，最終卻得出了錯誤的答案。這一顯著的提升展示了新方法在效率和準確性上的優(yōu)勢。

清華大學姚班的那篇論文探討了在 Transformer 架構(gòu)下，模型在計算兩個四位數(shù)乘法（例如 1234 × 5678 ）時的表現(xiàn)。研究發(fā)現(xiàn)，GPT-4 在處理三位數(shù)乘法時的準確率為 59%，然而當任務變?yōu)樗奈粩?shù)乘法時，準確率卻驟降至 4%。這一現(xiàn)象揭示了在面對更復雜計算時，Transformer 架構(gòu)的推理能力受到顯著限制。

這些研究結(jié)果表明，盡管 Transformer 架構(gòu)在某些任務中表現(xiàn)出色，但在處理復雜推理任務，尤其是需要大量信息處理時，仍然存在瓶頸。

關(guān)于 DeepSeek 論文結(jié)尾的復雜數(shù)學題，雷峰網(wǎng)(公眾號：雷峰網(wǎng))也用 GPT o3-mini 進行了解讀，最終呈現(xiàn)的解題過程比 DeepSeek 論文中給出的解題過程要長出 2 倍之多。

由此可見，大模型的發(fā)展就是一個不斷推陳出新的過程。

而反觀 DeepSeek，未來的研究可能會更加專注于如何優(yōu)化模型在長文本和代碼庫分析中的表現(xiàn)，以進一步提升其推理能力和實用性。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。