新智元報(bào)道
peter東英智
【新智元導(dǎo)讀】長(zhǎng)期以來(lái)，大模型受限于有限的上下文窗口，在處理長(zhǎng)任務(wù)或?qū)υ挄r(shí)不得不忘記早期信息，英偉達(dá)近日推出的Helix并行技術(shù)受DNA結(jié)構(gòu)啟發(fā)，分割顯存和處理任務(wù)，顯著提升大模型的上下文長(zhǎng)度，并發(fā)能力，并可降低響應(yīng)延遲。
想象一個(gè)使用大模型的任務(wù)，需要一次處理百萬(wàn)字符的文檔，例如從百科全書(shū)中獲取信息，或是分析數(shù)百頁(yè)的法律卷宗，異或追蹤持續(xù)數(shù)月的對(duì)話記錄，都需要越來(lái)越長(zhǎng)的上下文。
而大模型生成的每個(gè)詞都需要掃描存儲(chǔ)在所謂的KV緩存中存儲(chǔ)的過(guò)去標(biāo)記。
反復(fù)讀取這個(gè)緩存會(huì)消耗GPU內(nèi)存帶寬。大模型還需要從內(nèi)存中重新加載大量的前饋網(wǎng)絡(luò)（FFN）權(quán)重來(lái)處理每個(gè)新詞。
這個(gè)過(guò)程會(huì)減慢效應(yīng)速度，從而導(dǎo)致用戶與大模型對(duì)話時(shí)出現(xiàn)卡頓。
傳統(tǒng)的解決方案，是使用張量并行（TensorParallelism,TP）將此負(fù)載分散到多個(gè)GPU上。但這僅能起到一定作用。
當(dāng)規(guī)模超過(guò)一定限度后，GPU開(kāi)始復(fù)制KV緩存，導(dǎo)致內(nèi)存壓力進(jìn)一步增大。
而Helix這一英偉達(dá)針對(duì)其最新的Blackwall開(kāi)發(fā)的并行策略，通過(guò)將模型Transformer層的注意力機(jī)制和前饋網(wǎng)絡(luò)部分分開(kāi)處理來(lái)解決卡頓問(wèn)題。
Helix受DNA雙螺旋結(jié)構(gòu)的啟發(fā)，Helix將KV、張量和專(zhuān)家等多個(gè)維度的并行性交織到一個(gè)統(tǒng)一的執(zhí)行循環(huán)中。
每個(gè)階段在其自身的瓶頸配置下運(yùn)行，同時(shí)復(fù)用相同的GPU池。
論文鏈接：https://d1qx31qr3h6wln.cloudfront.net/publications/Helix_0.pdf
Helix是怎么做到百萬(wàn)上下文不卡頓
在注意力階段，Helix使用一種名為KV并行（KVP）的新方法，將龐大的KV緩存分散到多個(gè)GPU上。
當(dāng)TP超過(guò)KV頭的數(shù)量時(shí)，張量并行會(huì)進(jìn)行復(fù)制，從而增加了內(nèi)存和帶寬開(kāi)銷(xiāo)，如圖1a到c描述的過(guò)程。
Helix通過(guò)將TP=2與KVP=2相結(jié)合，形成2D布局來(lái)避免內(nèi)存和帶寬開(kāi)銷(xiāo)的增加，對(duì)應(yīng)圖1d。
圖1：傳統(tǒng)的張量并行（TP）與Helix的不同注意力分片策略KVP的對(duì)比示意圖
同時(shí)，由于KVPGPU持有與其本地KV頭相關(guān)聯(lián)的所有查詢(xún)頭，并冗余地計(jì)算QKV投影。
這使得每個(gè)KV分片能夠進(jìn)行完全本地的FlashAttention，確保了模型的推理精度。
之后KVPGPU之間沿著查詢(xún)頭維度進(jìn)行單對(duì)單的全連接通信，通信的成本和KV緩存的大小無(wú)關(guān)，因此大模型的上下文長(zhǎng)度即使擴(kuò)展到百萬(wàn)token，也不會(huì)影響查詢(xún)效率。
此外，Helix還通過(guò)重疊通信和計(jì)算，一旦計(jì)算出一個(gè)token的注意力輸出，Helix就會(huì)啟動(dòng)該token的全對(duì)全交換，同時(shí)計(jì)算下一個(gè)token的注意力。
這種緊密的重疊將通信延遲隱藏在有用的工作之后，保持GPU利用率高，并進(jìn)一步加速實(shí)時(shí)解碼。
圖2中上圖的八個(gè)請(qǐng)求會(huì)同步執(zhí)行注意力計(jì)算。隨后進(jìn)行順序的全對(duì)全通信。
圖2表底部對(duì)應(yīng)使用HOP-B時(shí)，一個(gè)請(qǐng)求的通信與下一個(gè)請(qǐng)求的計(jì)算重疊，通過(guò)細(xì)粒度流水線減少了token間的延遲。
圖2：Helix通過(guò)細(xì)粒度流水線技術(shù)加速大模型的響應(yīng)
引入Helix帶來(lái)的高并發(fā)和低延遲
根據(jù)英偉達(dá)官網(wǎng)給出的計(jì)算，使用DeepSeek-R1671B模型，在給定延遲下，當(dāng)并發(fā)的用戶數(shù)增大時(shí)，Helix相比傳統(tǒng)方法體現(xiàn)出優(yōu)勢(shì)。
而到了圖中第一個(gè)箭頭標(biāo)注的點(diǎn)時(shí)，其單GPU產(chǎn)出的token數(shù)是傳統(tǒng)方法的32倍，這意味著可以將并發(fā)用戶數(shù)量提高高達(dá)32倍。
圖3：使用100萬(wàn)上下文長(zhǎng)度的DeepSeek-R1，評(píng)估使用經(jīng)過(guò)最新NVIDIAGB200NVL72（Blackwell）在固定延遲下的并發(fā)能力
在低并發(fā)設(shè)置下，Helix可以通過(guò)減token與token間的最低延遲時(shí)間，來(lái)提高用戶交互體驗(yàn)，如圖3右下方的對(duì)比所示。
該研究的參與者St-Maurice指出「Helix正在重塑我們處理LLM交互和設(shè)計(jì)的方式?！?/p>
他指出，Helix并行處理和優(yōu)化的KV緩存分片正在為大模型提供可擴(kuò)展的顯存外掛，這與開(kāi)發(fā)者改進(jìn)舊處理器（如奔騰）的方式高度相似。
該技術(shù)能允許大模型應(yīng)用擴(kuò)展其用戶規(guī)模的同時(shí)，保證其快速響應(yīng)。
對(duì)于虛擬助手、法律機(jī)器人以及AICopolit等應(yīng)用，Helix的引入可以做到既處理大量工作負(fù)載，同時(shí)還保持低延遲響應(yīng)能力。
Helix是否為畫(huà)靶射箭的爭(zhēng)論
對(duì)于這項(xiàng)技術(shù)突破，西北人工智能咨詢(xún)公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人WyattMayham表示：「英偉達(dá)的數(shù)百萬(wàn)個(gè)token的上下文窗口是一項(xiàng)令人印象深刻的工程里程碑，但對(duì)于大多數(shù)公司來(lái)說(shuō)，它是一個(gè)尋找問(wèn)題的解決方案，它解決了現(xiàn)有模型如長(zhǎng)上下文推理和二次擴(kuò)展等真實(shí)限制，但技術(shù)可能性和實(shí)際實(shí)用性之間存在差距。」
Mayham承認(rèn)Helix在特定領(lǐng)域中很有用，例如需要完整文檔保真度的合規(guī)性強(qiáng)的行業(yè)，或醫(yī)療系統(tǒng)一次性分析患者終身病史。
但這只是部分特例，大多數(shù)組織最好是構(gòu)建更智能的流水線，而不是購(gòu)買(mǎi)helix所需的Blackwell架構(gòu)下的GB200機(jī)架。
且通常情況下，檢索增強(qiáng)生成（RAG）系統(tǒng)能夠在百萬(wàn)個(gè)token的范圍內(nèi)，表現(xiàn)的比將上下文長(zhǎng)度提升到100k更好。
而Info-Tech研究集團(tuán)技術(shù)顧問(wèn)JustinSt-Maurice則指出：在當(dāng)今世界，為人類(lèi)生成百科全書(shū)大小的回答并不是勝利。
相反，關(guān)鍵在于使大模型的輸出對(duì)其他人工智能相關(guān)且可用。
這種能力可能成為未來(lái)智能體進(jìn)步的推手。
有了當(dāng)大模型的輸出能具有對(duì)應(yīng)的認(rèn)知框架，智能體可以保持更豐富的內(nèi)部狀態(tài)，參與更復(fù)雜、更長(zhǎng)時(shí)間的聊天，并執(zhí)行更深入文檔分析。
St-Maurice指出：Helix帶來(lái)的長(zhǎng)上下文窗口，能夠支持contextengineer（上下文工程）在龐大的上下文窗口中管理和優(yōu)化信息，以最大限度地提高智能體的有效性和可靠性。
憑借在擴(kuò)展的上下文窗口中處理和交換更大數(shù)據(jù)量的能力，AI智能體可以以以前不切實(shí)際的方式溝通和協(xié)作，從而改變多智能體應(yīng)用的設(shè)計(jì)框架。
參考資料：
https://research.nvidia.com/publication/2025-07_helix-parallelism-rethinking-sharding-strategies-interactive-multi-million
https://www.computerworld.com/article/4019170/new-nvidia-technology-provides-instant-answers-to-encyclopedic-length-questions.html
https://d1qx31qr3h6wln.cloudfront.net/publications/Helix_0.pdf
https://interestingengineering.com/innovation/nvidia-helix-breakthrough-long-context-ai?utm_source=chatgpt.com
https://developer.nvidia.com/blog/asking-an-encyclopedia-sized-question-how-to-make-the-world-smarter-with-multi-million-token-real-time-inference/?utm_source=chatgpt.com
延伸閱讀：與 3：2倍吞吐量躍升英偉達(dá)Helix架構(gòu)突破百萬(wàn)Token|(推理瓶頸) 的相關(guān)文章美國(guó)多次抹黑中國(guó)，耿爽在聯(lián)合國(guó)霸氣反擊：美國(guó)應(yīng)該感到羞恥
外網(wǎng)都在追這個(gè)瓜 前菜沙拉讓小鎮(zhèn)風(fēng)評(píng)受害
華為首次展出“算力核彈”真機(jī)
國(guó)務(wù)院食安辦：針對(duì)嬰幼兒食品、賑災(zāi)食品等加大日常監(jiān)管力度
別笑！你試你也活不到第二天！第2集！
“ 我在埃迪卡拉紀(jì)很想你 ”
賽季初竟然勘察出4詞條軒轅甲？搞一把實(shí)驗(yàn)基地！
原版的這個(gè)僵尸有個(gè)最強(qiáng)的技能…
第十四集|《玄月模擬》重生之金烏給你做保鏢!!
6名大學(xué)生在內(nèi)蒙古企業(yè)參觀學(xué)習(xí)中意外墜落溺亡
