鮮寄藍(lán)

本文第一作者莊湛，香港城市大學(xué)和南方科技大學(xué)聯(lián)合培養(yǎng)博士生，研究方向是遷移學(xué)習(xí)、擴散模型、大模型微調(diào)等。本文通訊作者魏穎，浙江大學(xué)「百人計劃」研究員，博士生導(dǎo)師，研究方向包括持續(xù)學(xué)習(xí)、遷移學(xué)習(xí)、組合泛化以及在科學(xué)領(lǐng)域中的應(yīng)用等。通訊作者張宇，南方科技大學(xué)副教授，研究方向包括深度學(xué)習(xí)、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)以及在計算機視覺和自然語言處理方面的應(yīng)用。

還在為LoRA訓(xùn)練不穩(wěn)定、模型融合效果差、剪枝后性能大降而煩惱嗎？來自香港城市大學(xué)、南方科技大學(xué)、浙江大學(xué)等機構(gòu)的研究者們提出了一種簡單的漸進式訓(xùn)練策略，CoTo，通過在訓(xùn)練早期隨機失活一部分適配器，并逐漸提高其激活概率，有效緩解了層級不均衡問題，并顯著增強了模型在多任務(wù)融合和剪枝等操作上的魯棒性和有效性。該工作已被機器學(xué)習(xí)頂會ICML2025接收。

論文標(biāo)題：ComeTogether,ButNotRightNow:AProgressiveStrategytoBoostLow-RankAdaptation論文鏈接：https://openreview.net/forum?id=Zha2m39ZoM代碼倉庫：https://github.com/zwebzone/coto官網(wǎng)海報：https://icml.cc/virtual/2025/poster/44836

常規(guī)LoRA訓(xùn)練的隱藏缺陷

參數(shù)高效微調(diào)技術(shù)已成為預(yù)訓(xùn)練大模型在下游任務(wù)應(yīng)用的關(guān)鍵技術(shù)。然而，盡管LoRA如此成功，它依然面臨著一些棘手的問題：

1.「惰性訓(xùn)練」（LazyTraining）：LoRA的優(yōu)化過程常常會陷入初始化點附近的次優(yōu)解，限制了模型的泛化能力。

2.層級不平衡：在訓(xùn)練中，梯度更新往往集中位于模型的頂層適配器，導(dǎo)致底層適配器訓(xùn)練不足，整體性能受限。

3.下游操作困難：上述問題使得多個LoRA模型的融合和剪枝等下游操作變得非常困難，效果常常不盡人意。

CoTo策略：何不讓LoRA「漸入佳境」？

為了解決這些挑戰(zhàn)，研究者們提出了CoTo，其核心思想非常簡潔直觀：在訓(xùn)練初期，不必讓每一層的訓(xùn)練「一擁而上」，而是讓LoRA適配器「循序漸進」地參與訓(xùn)練。具體來說，CoTo采用了一種漸進式的激活策略：

訓(xùn)練初期：以一個較高的概率隨機「失活」一部分LoRA適配器。這迫使模型在更新時不能過分依賴某幾層，從而讓梯度更均勻地流向所有層級，鼓勵模型探索更廣闊的參數(shù)空間。訓(xùn)練中后期：線性地提高適配器的激活概率，直到所有適配器都完全參與訓(xùn)練，回歸到標(biāo)準(zhǔn)的微調(diào)模式。

這種「先抑后揚」的策略帶來了諸多好處：它不僅促進了層級間的均衡優(yōu)化，還顯著提升了不同隨機種子訓(xùn)練出的模型之間的線性模式連通性(LinearModeConnectivity,LMC)和Dropout穩(wěn)定性，為模型融合與剪枝打下了堅實的基礎(chǔ)。

圖1：CoTo漸進式激活示意圖。訓(xùn)練初期（t<3T/4），適配器被隨機失活（灰色部分），其激活概率p(t)隨訓(xùn)練線性增長；訓(xùn)練后期，所有適配器保持激活。

實驗結(jié)果

CoTo最令人興奮的貢獻在于它極大地提升了LoRA模型的融合和剪枝能力，且CoTo本身也能在單任務(wù)的泛化性能和訓(xùn)練效率上帶來提升。

更有效的模型融合

線性插值準(zhǔn)確率：在常識推理與圖像分類任務(wù)中，對兩個獨立訓(xùn)練的LoRA模型進行線性插值時，標(biāo)準(zhǔn)LoRA的性能在融合點(λ=0.5)會急劇下降。相比之下，CoTo模型展現(xiàn)了優(yōu)越的線性模式連通性(LMC)，在整個插值路徑上均能保持平滑且高效的性能過渡。多任務(wù)LoRA融合：在GLUE數(shù)據(jù)集上，無論是基于LLaMA-2(7B,13B)還是DeBERTa-v3模型，通過CoTo訓(xùn)練的LoRA模塊在進行多任務(wù)合并時，其準(zhǔn)確率均穩(wěn)定超越了使用常規(guī)訓(xùn)練方法融合的基線模型。

圖2：常識推理任務(wù)的線性插值準(zhǔn)確率。

圖3：圖像分類任務(wù)的線性插值準(zhǔn)確率。

圖4：使用LLaMA-2-7B和LLaMA-2-13模型進行多任務(wù)LoRA融合的準(zhǔn)確率。

更魯棒的模型剪枝

CoTo的訓(xùn)練方式天然地增強了模型的剪枝容錯能力。如下圖所示，無論是在移除交替層、底層、中層還是高層適配器的結(jié)構(gòu)化剪枝中，還是在不同稀疏度的非結(jié)構(gòu)化剪枝中，CoTo-LoRA的性能都全面超越了標(biāo)準(zhǔn)LoRA。

圖5：結(jié)構(gòu)化剪枝對比（左）和非結(jié)構(gòu)化剪枝對比（右）。

性能與效率雙提升

性能更強：在涵蓋視覺（11個圖像分類任務(wù)）、語言（8個常識推理任務(wù)）和數(shù)學(xué)推理等多個領(lǐng)域的基準(zhǔn)測試中，CoTo都能穩(wěn)定地提升包括LoRA、DoRA、HiRA在內(nèi)的多種LoRA變體的性能。訓(xùn)練更快：由于在訓(xùn)練早期跳過了部分適配器的計算，CoTo還能降低訓(xùn)練開銷。例如，在HiRA上應(yīng)用CoTo，可以實現(xiàn)超24%的訓(xùn)練加速！

圖6：在常識推理和數(shù)學(xué)推理上，基于不同LoRA變體和訓(xùn)練策略的性能提升。

消融實驗

為了驗證CoTo各個設(shè)計選擇的合理性并探究其性能提升的根源，研究團隊在訓(xùn)練階段比例、激活概率曲線、嵌套Dropout策略、學(xué)習(xí)率和LoRArank等多個方面進行了一系列嚴(yán)謹(jǐn)?shù)南趯嶒?。這些實驗不僅證明了CoTo設(shè)計的合理性，也為我們提供了關(guān)于如何有效正則化LoRA的深刻見解。

令人欣喜的是，CoTo的代碼實現(xiàn)十分簡潔，用戶只需對現(xiàn)有LoRA訓(xùn)練流程做三步改動即可利用這一策略，感興趣的讀者可以訪問代碼倉庫，親自體驗CoTo的效果！

總結(jié)

CoTo通過一個簡單而巧妙的漸進式訓(xùn)練策略，有效解決了LoRA訓(xùn)練中的層級不平衡和「懶惰」優(yōu)化問題。它不僅提升了模型的單任務(wù)泛化能力，更重要的是，它極大地增強了LoRA適配器的可組合性與魯棒性，讓模型融合與剪枝等下游操作變得更加簡單高效。CoTo無需修改模型架構(gòu)，可以作為即插即用的模塊與各類LoRA方法無縫集成。文章中還提供了漸進優(yōu)化和合作博弈兩個角度深入分析了CoTo帶來的優(yōu)勢。我們相信，這項工作將為參數(shù)高效微調(diào)領(lǐng)域的研究與應(yīng)用帶來新的啟發(fā)。

精選三本懸疑靈異設(shè)定的BG完結(jié)文

懸疑靈異文:那只鬼就纏上我 說我是他的妻,夜夜要同我纏綿

靈異:爺爺說我十五歲有大劫,為破劫,鬼夫?qū)⒃谄咴鲁跗邅砣⑽?？浮...