昂曉星

LLM用得越久，速度越快！Emory大學(xué)提出SpeedupLLM框架，利用動(dòng)態(tài)計(jì)算資源分配和記憶機(jī)制，使LLM在處理相似任務(wù)時(shí)推理成本降低56%，準(zhǔn)確率提升，為AI模型發(fā)展提供新思路。

在人類的認(rèn)知世界里，熟練意味著更快、更高效。

比如看似復(fù)雜的魔方，只需訓(xùn)練幾十次后便能「盲擰」；而面對(duì)一道做過(guò)幾遍的數(shù)學(xué)題，我們往往能在腦海中迅速?gòu)?fù)現(xiàn)思路，幾秒內(nèi)作答。

那，大語(yǔ)言模型也能這樣嗎？

Emory大學(xué)的研究者BoPan和LiangZhao最近發(fā)布了一篇令人振奮的成果：大語(yǔ)言模型的性能，也和熟練度有關(guān)，確實(shí)能「越用越快」！

論文地址：https://arxiv.org/abs/2505.20643

論文首次系統(tǒng)性地驗(yàn)證了LLM在「有經(jīng)驗(yàn)」的條件下，不僅性能不降，反而能大幅減少推理時(shí)間和計(jì)算資源，揭示了「AI也能熟能生巧」的全新范式。

如何讓LLM變熟練？

為系統(tǒng)驗(yàn)證「熟練加速效應(yīng)」，作者提出一個(gè)統(tǒng)一框架，構(gòu)造并量化三類記憶機(jī)制下的「使用經(jīng)驗(yàn)」。

該框架由兩部分組成，一是推理時(shí)動(dòng)態(tài)計(jì)算資源分配，二是記憶機(jī)制。

對(duì)于動(dòng)態(tài)計(jì)算資源分配，該文章系統(tǒng)性將多種已有test-timescaling方法擴(kuò)展成動(dòng)態(tài)計(jì)算資源分配，從而允許LLM在熟練的問(wèn)題上分配更少的計(jì)算資源。

對(duì)于記憶機(jī)制，該框架引入記憶機(jī)制，從而實(shí)現(xiàn)通過(guò)過(guò)往經(jīng)驗(yàn)加速當(dāng)前推理。

在多輪使用中，大模型是否能像人類一樣「從經(jīng)驗(yàn)中變快」？是否存在一種方法，能系統(tǒng)性地提升效率，而非單純堆算力？

研究亮點(diǎn)1：用經(jīng)驗(yàn)節(jié)省算力

在任務(wù)重復(fù)或相似的推理過(guò)程中，研究者發(fā)現(xiàn)LLM通過(guò)利用以往經(jīng)驗(yàn)（包括memorycache、in-contextmemory等），可以實(shí)現(xiàn)減少高達(dá)56%的推理預(yù)算，保持甚至提升準(zhǔn)確率。

這意味著模型在處理「熟悉」的任務(wù)時(shí)能少走很多彎路，不僅答得準(zhǔn)，還答得快。

研究亮點(diǎn)2：系統(tǒng)性大規(guī)模實(shí)驗(yàn)

為了驗(yàn)證普適性，研究者考察了：

多種test-timescaling方法，包括Self-Refine、Best-of-N、Tree-of-Thoughts和當(dāng)前最新的LongChain-of-Thought（o1式思考）

多種記憶，包括監(jiān)督學(xué)習(xí)（SupervisedFine-tuning）、檢索過(guò)去經(jīng)歷、三種自我反思（Reflection）

多種問(wèn)題相似度，包括LLM在1）完全相同、2）意思一樣僅表述不同、3）題目一樣，僅換數(shù)字、4）不同題目但需要相同知識(shí)回答。

不同機(jī)制均表現(xiàn)出顯著的推理加速，展示了這一現(xiàn)象的廣泛性。

實(shí)驗(yàn)結(jié)果

在「重復(fù)問(wèn)答」、「分步推理」等任務(wù)中，越是「重復(fù)」，模型推理越快，效果越好。而且，這種趨勢(shì)隨著經(jīng)驗(yàn)積累更加明顯。

實(shí)驗(yàn)結(jié)果帶來(lái)了以下八大關(guān)鍵發(fā)現(xiàn)：

發(fā)現(xiàn)一：LLM真的可以「越用越快」！

實(shí)驗(yàn)結(jié)果表明，在配備適當(dāng)記憶機(jī)制和計(jì)算預(yù)算調(diào)控策略的前提下，LLM在處理重復(fù)或相似任務(wù)時(shí)，平均可節(jié)省高達(dá)56%的推理開(kāi)銷(xiāo)，且這一行為在80組實(shí)驗(yàn)設(shè)置中有64組都出現(xiàn)了顯著的加速現(xiàn)象，覆蓋率高達(dá)80%，驗(yàn)證了「經(jīng)驗(yàn)式加速」具有普適性。

發(fā)現(xiàn)二：越快≠越差，反而更準(zhǔn)！

令人驚喜的是，推理成本的下降不僅沒(méi)有犧牲準(zhǔn)確率，反而普遍帶來(lái)了準(zhǔn)確率的提升。實(shí)驗(yàn)測(cè)得推理成本與準(zhǔn)確率提升之間的Pearson相關(guān)系數(shù)為-0.41（p=0.0002），這表明「更快」也意味著「更穩(wěn)」「更準(zhǔn)」。

發(fā)現(xiàn)三：相似度越高，提速越明顯

研究設(shè)計(jì)了4個(gè)相似度等級(jí)，從完全重復(fù)（S1）到結(jié)構(gòu)變化大（S4）。結(jié)果發(fā)現(xiàn)，S1和S2類問(wèn)題下的加速最顯著（分別節(jié)省16.0%和15.4%計(jì)算），而S4問(wèn)題由于結(jié)構(gòu)不同、記憶不具備直接遷移性，加速效果最弱。

發(fā)現(xiàn)四：?jiǎn)栴}相似度低時(shí)，記憶機(jī)制可能反噬

當(dāng)問(wèn)題間差異過(guò)大時(shí)，記憶機(jī)制可能誤導(dǎo)模型走錯(cuò)方向，導(dǎo)致推理成本反升、準(zhǔn)確率反降。這種現(xiàn)象在部分S4設(shè)置中顯著，提示我們記憶并非越多越好，而應(yīng)「選得準(zhǔn)、用得巧」。

發(fā)現(xiàn)五：情節(jié)記憶反思記憶，更能加速推理

在不同記憶機(jī)制對(duì)比中，情節(jié)式記憶（如SFT和In-Context）在推理加速上表現(xiàn)更佳。例如In-Context平均節(jié)省27.4%計(jì)算，而反思類記憶僅為3.6%~8.8%。這與心理學(xué)研究一致：人類在形成熟練技能時(shí)，最初依賴的是具體實(shí)例的情節(jié)記憶。

發(fā)現(xiàn)六：In-Context比SFT更高效

在低樣本（1~3輪）場(chǎng)景下，In-Context學(xué)習(xí)相比SFT更具泛化能力、更少過(guò)擬合，尤其在本研究的推理速度上，In-Context更快、更穩(wěn)、更準(zhǔn)，展現(xiàn)了非參數(shù)記憶的強(qiáng)大即時(shí)適應(yīng)力。

發(fā)現(xiàn)七：文本記憶易「觸頂」，參數(shù)記憶可持續(xù)提速

反思類與In-Context等文本記憶方法存在上下文窗口的「瓶頸」，在加入3個(gè)案例后效果逐漸飽和；相比之下，SFT通過(guò)權(quán)重更新記憶內(nèi)容，不受窗口限制，推理速度隨經(jīng)驗(yàn)持續(xù)提升。

發(fā)現(xiàn)八：越「泛化」的反思，提速越明顯

三種反思機(jī)制中，Reflect-Update表現(xiàn)最佳。原因在于它能持續(xù)總結(jié)抽象規(guī)則，而不是堆積具體數(shù)字或案例。這種「泛化性強(qiáng)」的反思更容易跨任務(wù)遷移、輔助加速，未來(lái)設(shè)計(jì)更好反思機(jī)制時(shí)值得關(guān)注。

讓LLM擁有「記憶力」和「熟練度」

這項(xiàng)研究提出了一種值得重視的新范式：

推理效率不只是堆硬件，也能靠「學(xué)習(xí)歷史」提升。

在客服、搜索、問(wèn)診等反復(fù)場(chǎng)景中，部署「記憶型LLM」將帶來(lái)：更低的響應(yīng)延遲、更少的算力消耗、更強(qiáng)的適應(yīng)性和個(gè)性化。

這項(xiàng)研究不僅補(bǔ)足了現(xiàn)有推理加速研究的空白，更為構(gòu)建「具備人類熟練性」的AI模型提供了新思路。

《大奉打更人》動(dòng)畫(huà)首發(fā)預(yù)告,勾欄聽(tīng)曲,瘋狂開(kāi)車(chē)劇情能過(guò)審嗎?

說(shuō)說(shuō)夢(mèng)入神機(jī)的經(jīng)典小說(shuō)《龍符》,講了一個(gè)什么樣的故事!

《點(diǎn)道為止》:前面是國(guó)術(shù),后面成玄幻,越寫(xiě)越玄乎