商業(yè)
妹妹心肌炎去世 哥哥患同種病進ICU
那，
楊亮
4小時前
股票投資的基：本分析方(？法有哪些)
2025-07-31 06:06:33
59103
LLM用得越久，速度越快！Emory大學提出SpeedupLLM框架，利用動態(tài)計算資源分配和記憶機制，使LLM在處理相似任務(wù)時推理成本降低56%，準確率提升，為AI模型發(fā)展提供新思路。
在人類的認知世界里，熟練意味著更快、更高效。
比如看似復(fù)雜的魔方，只需訓練幾十次后便能「盲擰」；而面對一道做過幾遍的數(shù)學題，我們往往能在腦海中迅速復(fù)現(xiàn)思路，幾秒內(nèi)作答。
那，大語言模型也能這樣嗎？
Emory大學的研究者BoPan和LiangZhao最近發(fā)布了一篇令人振奮的成果：大語言模型的性能，也和熟練度有關(guān)，確實能「越用越快」！
論文地址：https://arxiv.org/abs/2505.20643
論文首次系統(tǒng)性地驗證了LLM在「有經(jīng)驗」的條件下，不僅性能不降，反而能大幅減少推理時間和計算資源，揭示了「AI也能熟能生巧」的全新范式。
如何讓LLM變熟練？
為系統(tǒng)驗證「熟練加速效應(yīng)」，作者提出一個統(tǒng)一框架，構(gòu)造并量化三類記憶機制下的「使用經(jīng)驗」。
該框架由兩部分組成，一是推理時動態(tài)計算資源分配，二是記憶機制。
對于動態(tài)計算資源分配，該文章系統(tǒng)性將多種已有test-timescaling方法擴展成動態(tài)計算資源分配，從而允許LLM在熟練的問題上分配更少的計算資源。
對于記憶機制，該框架引入記憶機制，從而實現(xiàn)通過過往經(jīng)驗加速當前推理。
在多輪使用中，大模型是否能像人類一樣「從經(jīng)驗中變快」？是否存在一種方法，能系統(tǒng)性地提升效率，而非單純堆算力？
研究亮點1：用經(jīng)驗節(jié)省算力
在任務(wù)重復(fù)或相似的推理過程中，研究者發(fā)現(xiàn)LLM通過利用以往經(jīng)驗（包括memorycache、in-contextmemory等），可以實現(xiàn)減少高達56%的推理預(yù)算，保持甚至提升準確率。
這意味著模型在處理「熟悉」的任務(wù)時能少走很多彎路，不僅答得準，還答得快。
研究亮點2：系統(tǒng)性大規(guī)模實驗
為了驗證普適性，研究者考察了：
多種test-timescaling方法，包括Self-Refine、Best-of-N、Tree-of-Thoughts和當前最新的LongChain-of-Thought（o1式思考）
多種記憶，包括監(jiān)督學習（SupervisedFine-tuning）、檢索過去經(jīng)歷、三種自我反思（Reflection）
多種問題相似度，包括LLM在1）完全相同、2）意思一樣僅表述不同、3）題目一樣，僅換數(shù)字、4）不同題目但需要相同知識回答。
不同機制均表現(xiàn)出顯著的推理加速，展示了這一現(xiàn)象的廣泛性。
實驗結(jié)果
在「重復(fù)問答」、「分步推理」等任務(wù)中，越是「重復(fù)」，模型推理越快，效果越好。而且，這種趨勢隨著經(jīng)驗積累更加明顯。
實驗結(jié)果帶來了以下八大關(guān)鍵發(fā)現(xiàn)：
發(fā)現(xiàn)一：LLM真的可以「越用越快」！
實驗結(jié)果表明，在配備適當記憶機制和計算預(yù)算調(diào)控策略的前提下，LLM在處理重復(fù)或相似任務(wù)時，平均可節(jié)省高達56%的推理開銷，且這一行為在80組實驗設(shè)置中有64組都出現(xiàn)了顯著的加速現(xiàn)象，覆蓋率高達80%，驗證了「經(jīng)驗式加速」具有普適性。
發(fā)現(xiàn)二：越快≠越差，反而更準！
令人驚喜的是，推理成本的下降不僅沒有犧牲準確率，反而普遍帶來了準確率的提升。實驗測得推理成本與準確率提升之間的Pearson相關(guān)系數(shù)為-0.41（p=0.0002），這表明「更快」也意味著「更穩(wěn)」「更準」。
發(fā)現(xiàn)三：相似度越高，提速越明顯
研究設(shè)計了4個相似度等級，從完全重復(fù)（S1）到結(jié)構(gòu)變化大（S4）。結(jié)果發(fā)現(xiàn)，S1和S2類問題下的加速最顯著（分別節(jié)省16.0%和15.4%計算），而S4問題由于結(jié)構(gòu)不同、記憶不具備直接遷移性，加速效果最弱。
發(fā)現(xiàn)四：問題相似度低時，記憶機制可能反噬
當問題間差異過大時，記憶機制可能誤導(dǎo)模型走錯方向，導(dǎo)致推理成本反升、準確率反降。這種現(xiàn)象在部分S4設(shè)置中顯著，提示我們記憶并非越多越好，而應(yīng)「選得準、用得巧」。
發(fā)現(xiàn)五：情節(jié)記憶反思記憶，更能加速推理
在不同記憶機制對比中，情節(jié)式記憶（如SFT和In-Context）在推理加速上表現(xiàn)更佳。例如In-Context平均節(jié)省27.4%計算，而反思類記憶僅為3.6%~8.8%。這與心理學研究一致：人類在形成熟練技能時，最初依賴的是具體實例的情節(jié)記憶。
發(fā)現(xiàn)六：In-Context比SFT更高效
在低樣本（1~3輪）場景下，In-Context學習相比SFT更具泛化能力、更少過擬合，尤其在本研究的推理速度上，In-Context更快、更穩(wěn)、更準，展現(xiàn)了非參數(shù)記憶的強大即時適應(yīng)力。
發(fā)現(xiàn)七：文本記憶易「觸頂」，參數(shù)記憶可持續(xù)提速
反思類與In-Context等文本記憶方法存在上下文窗口的「瓶頸」，在加入3個案例后效果逐漸飽和；相比之下，SFT通過權(quán)重更新記憶內(nèi)容，不受窗口限制，推理速度隨經(jīng)驗持續(xù)提升。
發(fā)現(xiàn)八：越「泛化」的反思，提速越明顯
三種反思機制中，Reflect-Update表現(xiàn)最佳。原因在于它能持續(xù)總結(jié)抽象規(guī)則，而不是堆積具體數(shù)字或案例。這種「泛化性強」的反思更容易跨任務(wù)遷移、輔助加速，未來設(shè)計更好反思機制時值得關(guān)注。
讓LLM擁有「記憶力」和「熟練度」
這項研究提出了一種值得重視的新范式：
推理效率不只是堆硬件，也能靠「學習歷史」提升。
在客服、搜索、問診等反復(fù)場景中，部署「記憶型LLM」將帶來：更低的響應(yīng)延遲、更少的算力消耗、更強的適應(yīng)性和個性化。
這項研究不僅補足了現(xiàn)有推理加速研究的空白，更為構(gòu)建「具備人類熟練性」的AI模型提供了新思路。
絕對精彩的網(wǎng)絡(luò)小說《我從末世歸來》,很多人看過,但不一定看完!
太好看了！TOP3設(shè)定滿分的科幻腦洞文《我從末世歸來》，劇情超爽《我從末世歸來》 作者：小丑內(nèi)容簡介：華國戰(zhàn)神秦風，因遭遇同僚背叛，慘死在末世浩劫之下。帶著不甘和仇恨，秦風蘇醒了，一朝重生，返回十年之前、藍星尚未被怪物統(tǒng)治的時代——。這一世，背負仇恨的覺醒者，決心用自己的方式，引導(dǎo)世界的走向-_。他會成為希望你能滿意。
頻頻被搜索?《我從末世歸來》為首的三本高人氣末世進化神作
秦風繼續(xù)道，“我要的東西，和你這些年從公司運走的東西相比，簡直小巫見大巫了-?！薄扒仫L，注意你說話的態(tài)度，你在威脅我？”管偉震驚之余，只能用怒吼來掩飾心虛，“你有證據(jù)嗎，信不信我馬上開除你？”“你當然可以開除我了，就像上個月，你不問青紅皂白，開除那個懷孕的女工一樣——_?！鼻仫L依然很淡定，直接上等我繼續(xù)說。
小編精選TOP3設(shè)定滿分的科幻腦洞文《我從末世歸來》,看過都說好!
秦風卻仿佛能看穿孫教授心思似的，玩味一笑道，“孫教授不用這么吃驚，圖紙的確是我畫的，而且，在我腦子里還儲存著很多更精妙，更復(fù)雜的設(shè)計圖紙，我打算用這些圖紙，跟你做一場交易。”秦風并沒有說謊。末世之后，身為“神盾局”的主要成員之一，秦風的確接觸過很多高精尖的未來武器設(shè)計圖。這些設(shè)計圖，是在末世后面會介紹__。
免責聲明：本文內(nèi)容由開放的智能模型自動生成，僅供參考。
網(wǎng)站信息
