在剛剛舉辦的計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域的頂級(jí)國(guó)際會(huì)議ACL上，由DeepSeek創(chuàng)始人梁文鋒親自署名的論文從8000多篇論文中脫穎而出，成為本屆大會(huì)的最佳論文之一。
（來(lái)源：資料圖）
該論文的其他合作者分別來(lái)自北京大學(xué)和美國(guó)華盛頓大學(xué)，擔(dān)任第一作者的是JingyangYuan。
圖|JingyangYuan（來(lái)源：https://ieeexplore.ieee.org/autho）
在這篇論文中，他們提出了一種名為NSA的本機(jī)可訓(xùn)練的稀疏注意力機(jī)制，該機(jī)制將算法創(chuàng)新與硬件優(yōu)化相結(jié)合，以實(shí)現(xiàn)高效的長(zhǎng)上下文建模。
NSA采用了一種動(dòng)態(tài)分層稀疏策略，將粗粒度token壓縮與細(xì)粒度token選擇相結(jié)合，以同時(shí)保持全局上下文感知和局部精確性。
這一方法通過(guò)以下兩項(xiàng)關(guān)鍵創(chuàng)新推動(dòng)了稀疏注意力設(shè)計(jì)的發(fā)展：
一方面，他們通過(guò)設(shè)計(jì)算術(shù)強(qiáng)度平衡的算法，并結(jié)合針對(duì)現(xiàn)代硬件的實(shí)現(xiàn)優(yōu)化，實(shí)現(xiàn)了顯著的速度提升。
另一方面，他們實(shí)現(xiàn)了端到端的訓(xùn)練，在不犧牲模型性能的前提下減少了預(yù)訓(xùn)練的計(jì)算量。
如下圖所示，實(shí)驗(yàn)表明，在通用基準(zhǔn)測(cè)試、長(zhǎng)上下文任務(wù)和基于指令的推理任務(wù)中，使用NSA預(yù)訓(xùn)練的模型表現(xiàn)與全注意力模型相當(dāng)或更優(yōu)。
（來(lái)源：https://arxiv.org/pdf/2502.11089）
同時(shí)，在解碼、前向傳播和后向傳播方面，NSA在64k長(zhǎng)度序列上相較于全注意力機(jī)制實(shí)現(xiàn)了顯著加速，驗(yàn)證了其在整個(gè)模型生命周期中的效率。
圖|相關(guān)論文（來(lái)源：https://arxiv.org/pdf/2502.11089）
長(zhǎng)上下文建模是下一代大模型的關(guān)鍵能力
研究界日益認(rèn)識(shí)到，長(zhǎng)上下文建模是下一代大模型的關(guān)鍵能力，其推動(dòng)因素是現(xiàn)實(shí)世界中的各種應(yīng)用，包括深度推理、庫(kù)級(jí)代碼生成和多輪自主代理系統(tǒng)。然而，標(biāo)準(zhǔn)注意力機(jī)制的高計(jì)算成本帶來(lái)了巨大的計(jì)算挑戰(zhàn)。稀疏注意力機(jī)制為在保持模型性能的同時(shí)提高效率提供了一個(gè)有前景的方向。
最近領(lǐng)域內(nèi)的一些突破，包括OpenAI的o系列模型、DeepSeek-R1和Gemini1.5Pro，使模型能夠處理整個(gè)代碼庫(kù)、長(zhǎng)文檔，在數(shù)千個(gè)token上保持連貫的多輪對(duì)話(huà)，并在較長(zhǎng)依賴(lài)關(guān)系中進(jìn)行復(fù)雜推理。
然而，隨著序列長(zhǎng)度的增加，基礎(chǔ)注意力機(jī)制的高度復(fù)雜性成為關(guān)鍵的延遲瓶頸。
理論估計(jì)表明，在解碼64k長(zhǎng)度上下文時(shí)，采用softmax架構(gòu)進(jìn)行注意力計(jì)算占總延遲的70%至80%，這凸顯出人們迫切需要更高效的注意力機(jī)制。
實(shí)現(xiàn)高效長(zhǎng)上下文建模的一種自然方法是利用softmax注意力機(jī)制的固有稀疏性，即選擇性地計(jì)算關(guān)鍵的查詢(xún)-鍵對(duì)，這可以在保持性能的同時(shí)顯著降低計(jì)算開(kāi)銷(xiāo)。近期的研究進(jìn)展通過(guò)多種策略展示了這一潛力：鍵值（KV）緩存淘汰方法、分塊KV緩存選擇方法，以及基于采樣、聚類(lèi)或哈希的選擇方法。
盡管這些策略頗具前景，但現(xiàn)有的稀疏注意力方法在實(shí)際部署中往往表現(xiàn)不佳。許多方法未能實(shí)現(xiàn)與其理論增益相當(dāng)?shù)乃俣忍嵘淮送?，大多?shù)方法缺乏有效的訓(xùn)練時(shí)間支持，無(wú)法充分利用注意力機(jī)制的稀疏模式。
為了克服這些局限性，部署有效的稀疏注意力機(jī)制必須應(yīng)對(duì)兩個(gè)關(guān)鍵挑戰(zhàn)：
（1）解決硬件適配的推理加速挑戰(zhàn)：將理論計(jì)算減少轉(zhuǎn)化為實(shí)際速度提升，需要在預(yù)填充和解碼階段都進(jìn)行硬件友好的算法設(shè)計(jì)，以便緩解內(nèi)存訪(fǎng)問(wèn)和硬件調(diào)度瓶頸；
（2）解決訓(xùn)練感知算法設(shè)計(jì)的挑戰(zhàn)：通過(guò)可訓(xùn)練算子實(shí)現(xiàn)端到端的計(jì)算，以便降低訓(xùn)練成本，同時(shí)還得保持模型性能。這些要求對(duì)于實(shí)際應(yīng)用實(shí)現(xiàn)快速長(zhǎng)上下文推理或訓(xùn)練至關(guān)重要。當(dāng)同時(shí)考慮這兩個(gè)方面時(shí)，現(xiàn)有方法仍然存在顯著的差距。
因此，為了實(shí)現(xiàn)更有效且高效的稀疏注意力機(jī)制，他們提出了NSA這種原生可訓(xùn)練的稀疏注意力架構(gòu)，并集成了分層token建模。如下圖所示，NSA通過(guò)將鍵和值組織成時(shí)間塊，并通過(guò)三條注意力路徑來(lái)處理它們，從而減少每次查詢(xún)的計(jì)算量：壓縮的粗粒度token、選擇性保留的細(xì)粒度token以及用于獲取局部上下文信息的滑動(dòng)窗口。
（來(lái)源：https://arxiv.org/pdf/2502.11089）
然后可以實(shí)現(xiàn)專(zhuān)門(mén)的核函數(shù)，以最大限度地提高其實(shí)用效率。針對(duì)上述關(guān)鍵需求，NSA推出了兩項(xiàng)核心創(chuàng)新：
首先是硬件對(duì)齊系統(tǒng)：針對(duì)TensorCore的利用率和內(nèi)存訪(fǎng)問(wèn)，優(yōu)化塊級(jí)稀疏注意力機(jī)制，確保算術(shù)強(qiáng)度平衡。
其次是訓(xùn)練感知設(shè)計(jì)：通過(guò)高效算法和反向操作符實(shí)現(xiàn)穩(wěn)定的端到端訓(xùn)練。這一優(yōu)化使NSA能夠同時(shí)支持高效部署和端到端訓(xùn)練。
研究中，該團(tuán)隊(duì)通過(guò)在真實(shí)世界語(yǔ)言語(yǔ)料庫(kù)上的綜合實(shí)驗(yàn)來(lái)評(píng)估NSA。在擁有2600億個(gè)token的270億參數(shù)的Transformer主干網(wǎng)絡(luò)上進(jìn)行預(yù)訓(xùn)練后，他們?cè)u(píng)估了NSA在通用語(yǔ)言評(píng)估、長(zhǎng)上下文評(píng)估和思維鏈推理評(píng)估中的表現(xiàn)。并進(jìn)一步比較了在英偉達(dá)A100GPU上采用優(yōu)化Triton實(shí)現(xiàn)的核速度。實(shí)驗(yàn)結(jié)果表明，NSA的性能與全注意力基線(xiàn)相當(dāng)或更優(yōu)，同時(shí)優(yōu)于現(xiàn)有的稀疏注意力方法。此外，與全注意力機(jī)制相比，NSA在解碼、前向和后向階段均實(shí)現(xiàn)了顯著加速，且隨著序列長(zhǎng)度的增加，加速比也隨之提高。這些結(jié)果驗(yàn)證了他們的分層稀疏注意力設(shè)計(jì)有效地平衡了模型能力和計(jì)算效率。
三個(gè)角度評(píng)估NSA
實(shí)驗(yàn)中，他們從以下三個(gè)角度來(lái)評(píng)估NSA：通用基準(zhǔn)性能、長(zhǎng)上下文基準(zhǔn)性能以及思維鏈推理性能，并與全注意力基線(xiàn)以及當(dāng)前最先進(jìn)的稀疏注意力方法進(jìn)行比較。
遵循最先進(jìn)的大模型的常見(jiàn)做法，他們的實(shí)驗(yàn)采用了一種結(jié)合分組查詢(xún)注意力（GQA，Grouped-QueryAttention）和混合專(zhuān)家（MoE，Mixture-of-Experts）的骨干網(wǎng)絡(luò)，總參數(shù)為270億，其中活躍參數(shù)為30億。該模型由30層組成，隱藏層維度為2560。對(duì)于GQA，他們將組數(shù)設(shè)置為4，總共有64個(gè)注意力頭。對(duì)于MoE，他們采用了DeepSeekMoE結(jié)構(gòu)，該結(jié)構(gòu)包含72個(gè)路由專(zhuān)家和2個(gè)共享專(zhuān)家，并將top-k專(zhuān)家數(shù)設(shè)置為6。為確保訓(xùn)練穩(wěn)定性，第一層中的MoE被替換為SwiGLU形式的MLP。
該團(tuán)隊(duì)在論文中指出，其所提出的架構(gòu)在計(jì)算成本和模型性能之間實(shí)現(xiàn)了有效的權(quán)衡。其將全注意力模型和稀疏注意力模型均在2700億個(gè)8k長(zhǎng)度文本的token上進(jìn)行預(yù)訓(xùn)練，隨后使用YaRN在32k長(zhǎng)度文本上進(jìn)行持續(xù)訓(xùn)練和監(jiān)督微調(diào)，以實(shí)現(xiàn)長(zhǎng)上下文適應(yīng)。兩種模型都經(jīng)過(guò)充分訓(xùn)練以實(shí)現(xiàn)完全收斂，以確保公平比較。如下圖所示，NSA和全注意力（FullAttention）基線(xiàn)的預(yù)訓(xùn)練損失曲線(xiàn)呈現(xiàn)出穩(wěn)定且平滑的下降趨勢(shì)，且NSA模型的表現(xiàn)始終優(yōu)于全注意力模型。
（來(lái)源：https://arxiv.org/pdf/2502.11089）
除了與全注意力（FullAttention）方法進(jìn)行比較外，他們還評(píng)估了幾種最先進(jìn)的推理階段稀疏注意力方法：H2O、infLLM、Quest和Exact-Top，這些方法首先計(jì)算全注意力得分，并選擇與每個(gè)查詢(xún)相對(duì)應(yīng)的前幾個(gè)得分最高的鍵，然后計(jì)算這些位置上的注意力。與此同時(shí)，這些方法涵蓋了多種稀疏注意力范式。
在一般評(píng)估中，當(dāng)大多數(shù)樣本的長(zhǎng)度位于稀疏注意力基線(xiàn)的局部上下文窗口內(nèi)時(shí)，這些方法實(shí)際上等同于全注意力方法。因此，在這種設(shè)置之下，該團(tuán)隊(duì)僅展示了NSA與全注意力基線(xiàn)之間的比較結(jié)果。在長(zhǎng)文本評(píng)估中，他們對(duì)所有基線(xiàn)方法進(jìn)行了比較，并將所有稀疏注意力方法的稀疏度設(shè)置為相同，以便確保比較的公平性。對(duì)于需要進(jìn)行長(zhǎng)文本監(jiān)督微調(diào)的思維鏈推理評(píng)估，他們僅將比較范圍限定在全注意力模型上，因?yàn)橄∈枳⒁饬€(xiàn)模型不支持訓(xùn)練。
在一系列涵蓋知識(shí)、推理和編碼能力的綜合基準(zhǔn)測(cè)試上，該團(tuán)隊(duì)對(duì)預(yù)訓(xùn)練的NSA和全注意力基線(xiàn)進(jìn)行了評(píng)估，這些基準(zhǔn)測(cè)試包括MMLU、MMLU-PRO、CMMLU、BBH、GSM8K、MATH、DROP、MBPP和HumanEval。
圖|對(duì)比結(jié)果（來(lái)源：https://arxiv.org/pdf/2502.11089）
盡管NSA較為簡(jiǎn)潔，但其整體表現(xiàn)卻十分出色，在9項(xiàng)指標(biāo)中有7項(xiàng)優(yōu)于包括全注意力機(jī)制在內(nèi)的所有基線(xiàn)模型。這表明，盡管在較短序列上，NSA可能無(wú)法充分發(fā)揮其效率優(yōu)勢(shì)，但其表現(xiàn)仍然強(qiáng)勁。值得注意的是，NSA在推理相關(guān)基準(zhǔn)測(cè)試中表現(xiàn)出了顯著的提升（DROP：+0.042，GSM8K：+0.034），這表明該團(tuán)隊(duì)所使用的預(yù)訓(xùn)練有助于模型發(fā)展出專(zhuān)門(mén)的注意力機(jī)制。這種稀疏注意力預(yù)訓(xùn)練機(jī)制迫使模型聚焦于最重要的信息，通過(guò)過(guò)濾掉無(wú)關(guān)注意力路徑中的噪聲，從而能夠潛在地提升性能。在不同評(píng)估中的一致表現(xiàn)也驗(yàn)證了NSA作為一種通用架構(gòu)的穩(wěn)健性。
同時(shí)，他們還進(jìn)行了長(zhǎng)上下文評(píng)估。如下圖所示，在64k上下文的“大海撈針”測(cè)試中，NSA在所有位置均實(shí)現(xiàn)了完美的檢索準(zhǔn)確率。
（來(lái)源：https://arxiv.org/pdf/2502.11089）
這種表現(xiàn)源于該團(tuán)隊(duì)的分層稀疏注意力設(shè)計(jì)方案，該設(shè)計(jì)方案結(jié)合了壓縮token以便實(shí)現(xiàn)高效的全局上下文掃描，以及能夠通過(guò)選擇token實(shí)現(xiàn)精確的局部信息檢索。粗粒度壓縮則能以較低的計(jì)算成本識(shí)別出相關(guān)的上下文塊，而對(duì)選定token的token級(jí)注意力能夠確保關(guān)鍵細(xì)粒度信息的保留。這種設(shè)計(jì)使得NSA既能保持全局感知，又能確保局部精確性。
該團(tuán)隊(duì)還在LongBench上對(duì)NSA與最先進(jìn)的稀疏注意力方法和全注意力基線(xiàn)進(jìn)行了評(píng)估。為確保稀疏性一致，他們將所有稀疏注意力基線(xiàn)中每個(gè)查詢(xún)激活的token設(shè)置為2560個(gè)，這對(duì)應(yīng)于在處理32k序列長(zhǎng)度時(shí)，NSA中激活的token的平均數(shù)量。繼StreamLLM之后，該token預(yù)算包括前128個(gè)token和512個(gè)本地token。他們排除了LongBench中的某些子集，因?yàn)樗鼈冊(cè)谒心Ｐ椭械牡梅侄己艿?，可能無(wú)法提供有意義的比較。如下表所示，NSA取得了最高的平均分0.469，優(yōu)于所有基線(xiàn)方法（比全注意力機(jī)制高出0.032，比精確頂部方法高出0.046）。
（來(lái)源：https://arxiv.org/pdf/2502.11089）
這一優(yōu)異表現(xiàn)源于以下兩項(xiàng)關(guān)鍵創(chuàng)新：第一，他們獨(dú)創(chuàng)的稀疏注意力設(shè)計(jì)，能夠在預(yù)訓(xùn)練期間對(duì)稀疏模式進(jìn)行端到端的優(yōu)化，促進(jìn)稀疏注意力模塊與其他模型組件之間的同步適應(yīng)；第二，分層稀疏注意力機(jī)制實(shí)現(xiàn)了局部和全局信息處理之間的平衡。
值得注意的是，NSA在需要長(zhǎng)上下文復(fù)雜推理的任務(wù)上表現(xiàn)出色，在多跳問(wèn)答任務(wù)（HPQ和2Wiki）上相較于全注意力機(jī)制分別提升了+0.087和+0.051，在代碼理解任務(wù)上超越了基線(xiàn)模型（LCC：+0.069），并且在段落檢索任務(wù)上優(yōu)于其他方法（PassR-en：+0.075）。這些結(jié)果驗(yàn)證了NSA在處理多樣化長(zhǎng)上下文挑戰(zhàn)的能力，其原生預(yù)訓(xùn)練的稀疏注意力在學(xué)習(xí)任務(wù)最優(yōu)模式方面提供了額外優(yōu)勢(shì)。
在思維鏈推理評(píng)估中，為了評(píng)估NSA與先進(jìn)下游訓(xùn)練范式的兼容性，該團(tuán)隊(duì)研究了其通過(guò)后訓(xùn)練獲取思維鏈數(shù)學(xué)推理能力的能力。鑒于強(qiáng)化學(xué)習(xí)在較小規(guī)模模型上的效果有限，他們采用了DeepSeek-R1的知識(shí)蒸餾方法，利用100億個(gè)32k長(zhǎng)度數(shù)學(xué)推理軌跡的token進(jìn)行監(jiān)督微調(diào)（SFT，supervisedfine-tuning）。這產(chǎn)生了兩個(gè)可比較的模型：FullAttention-R（全注意力基線(xiàn)模型）和NSA-R（該團(tuán)隊(duì)的稀疏變體模型）。他們?cè)贏IME24基準(zhǔn)測(cè)試中評(píng)估了這兩個(gè)模型。為了驗(yàn)證推理深度的影響，他們?cè)趦煞N上下文限制（8k和16k個(gè)token）下進(jìn)行了實(shí)驗(yàn)，以便衡量擴(kuò)展推理鏈?zhǔn)欠衲芴岣邷?zhǔn)確性。
如下表所示，在8k上下文設(shè)置下，NSA-R的準(zhǔn)確率顯著高于全注意力-R（+0.075），且在16k上下文設(shè)置下，這一優(yōu)勢(shì)仍然存在（+0.054）。
（來(lái)源：https://arxiv.org/pdf/2502.11089）
這些結(jié)果驗(yàn)證了原生稀疏注意力機(jī)制的兩大關(guān)鍵優(yōu)勢(shì)：（1）預(yù)訓(xùn)練的稀疏注意力模式能夠高效捕捉對(duì)復(fù)雜數(shù)學(xué)推導(dǎo)至關(guān)重要的長(zhǎng)距離邏輯依賴(lài)關(guān)系；（2）本次架構(gòu)采用與硬件相匹配的設(shè)計(jì)，保持了足夠的上下文密度，以支持不斷增加的推理深度，同時(shí)避免災(zāi)難性遺忘。
這種在不同上下文長(zhǎng)度上的一致性表現(xiàn)證明，當(dāng)稀疏注意力機(jī)制被原生整合到訓(xùn)練流程中時(shí)，它能夠勝任高級(jí)推理任務(wù)。
（來(lái)源：https://openreview.net/profile?id=~Jingyang_Yuan1）
另?yè)?jù)悉，擔(dān)任本次論文第一作者兼通訊作者的JingyangYuan于2022年獲得北京大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，預(yù)計(jì)將于2027年從北京大學(xué)博士畢業(yè)，他的研究方向包括圖表示學(xué)習(xí)、神經(jīng)物理模擬、大模型等。
參考資料：
https://ieeexplore.ieee.org/author/37090050318
https://scholar.google.com/citations?user=mDwlqfkAAAAJ&hl=en
https://arxiv.org/pdf/2502.11089
運(yùn)營(yíng)/排版：何晨龍
5本男主京圈權(quán)勢(shì)滔天小說(shuō),為愛(ài)發(fā)瘋橫刀奪愛(ài),貴公子vs溫婉美人
”[他走過(guò)的下雨天也是輕盈的舞旋][別提思念有人快瘋癲][多想再見(jiàn)你一面]——曹方《風(fēng)吹過(guò)下雨天》7《告白前一秒》作者：霧春山眠沒(méi)心沒(méi)肺作精vs禁欲薄情商界大佬，豪門(mén)世家，婚戀甜寵文【1】沈溢圓小鹿眼，櫻桃唇，靠著一張初戀臉在娛樂(lè)圈一夜爆紅_。后有小道消息稱(chēng)，沈溢圓早已結(jié)婚，而結(jié)婚對(duì)象則是京市希望你能滿(mǎn)意-_。
5本男主是老男人叔寵現(xiàn)言,腹黑蓄謀已久,清純茉莉花vs京圈大佬
她開(kāi)始踉踉蹌蹌的朝山下走，這里根本攔不到的士，因?yàn)檫@里屬于薛家的地盤(pán)，外來(lái)的車(chē)輛是不允許入內(nèi)的|。穿著十公分的高跟鞋，下坡路極不好走。夢(mèng)雅在又一次差點(diǎn)崴了腳之后，終于把高跟鞋脫下，拎在手里-——。赤腳朝下走。與此同時(shí)，薛函的書(shū)房，保鏢正在報(bào)告夢(mèng)雅的行蹤|?！袄蠣?，唐小姐在門(mén)口沒(méi)有喊叫也沒(méi)有鬧?！钡任依^續(xù)說(shuō)|_。
5本港圈高干文,久別重逢,港圈權(quán)貴大佬掌權(quán)人vs清艷美人白月光
這回她壓根連戲都懶得演_。3《睡了豪門(mén)大佬后我跑了》作者：舒書(shū)書(shū)豪門(mén)挑剔大佬vs嬌軟香金絲雀，女主穿書(shū)，打臉逆襲，豪門(mén)甜爽文——|。甘甜穿成了一本豪門(mén)狗血復(fù)仇文中的炮灰女配。原主先被人誘騙用藥培成膚若凝脂、容貌精致、腿長(zhǎng)腰細(xì)、身嬌體軟的完美尤物，后被送給豪門(mén)大佬當(dāng)金絲雀。結(jié)果金絲雀沒(méi)當(dāng)成，被大佬等我繼續(xù)說(shuō)——。
延伸閱讀：與 【提出全新】NSA：?。皇枳⒁饬?/b> 的相關(guān)文章
共享充電寶裝后門(mén) 間諜竊密手段曝光
循環(huán)歌單|“法修散打の小曲”|《室內(nèi)系的TrackMaker (Melodic Minor版)》
王小平一審獲刑10年6個(gè)月
盛 大 登 場(chǎng)
『MyGO / AveMujica 動(dòng)畫(huà)』只是太過(guò)閃耀，在璀璨時(shí)光的盡頭
如何看待《戰(zhàn)地 6》預(yù)告片?
劍橋畢業(yè)生患癌用咖啡灌腸拒做化療
這一刻 我明白了買(mǎi)這車(chē)的意義
嚴(yán)浩翔共腦了
江西物理老師自制「等離子炮」，在課上展示擊倒易拉罐的實(shí)驗(yàn)，其原理是什么？沖擊力能有多大？
