本論文主要作者來自小紅書AIGC團隊(Dynamic-X-Lab),Dynamic?X?LAB是一個專注于AIGC領域的研究團隊,致力于推動姿態(tài)驅(qū)動的人像生成與視頻動畫技術。他們以高質(zhì)量、高可控性的生成模型為核心,圍繞文生圖(t2i)、圖像生成(i2i)、圖像轉(zhuǎn)視頻(i2v)和風格遷移加速等方向展開研究,并通過完整的開源方案分享給開發(fā)者與研究者社區(qū)。
基于一致性模型(ConsistencyModels,CMs)的軌跡蒸餾(TrajectoryDistillation)為加速擴散模型提供了一個有效框架,通過減少推理步驟來提升效率。然而,現(xiàn)有的一致性模型在風格化任務中會削弱風格相似性,并損害美學質(zhì)量——尤其是在處理從部分加噪輸入開始去噪的圖像到圖像(image-to-image)或視頻到視頻(video-to-video)變換任務時問題尤為明顯。
這一核心問題源于當前方法要求學生模型的概率流常微分方程(PF-ODE)軌跡在初始步驟與其不完美的教師模型對齊。這種僅限初始步驟對齊的策略無法保證整個軌跡的一致性,從而影響了生成結(jié)果的整體質(zhì)量。
為了解決這一問題,文章提出了單軌跡蒸餾(SingleTrajectoryDistillation,STD),一個從部分噪聲狀態(tài)出發(fā)的訓練框架。
為了抵消STD引入的額外時間開銷,文章設計了一個軌跡狀態(tài)庫(TrajectoryBank),預先存儲教師模型PF-ODE軌跡中的中間狀態(tài),從而有效減輕學生模型訓練時的計算負擔。這一機制確保了STD在訓練效率上可與傳統(tǒng)一致性模型保持一致。
此外,該工作還引入了一個非對稱對抗損失(AsymmetricAdversarialLoss),可顯著增強生成結(jié)果的風格一致性和感知質(zhì)量。
在圖像與視頻風格化任務上的大量實驗證明,STD在風格相似性和美學評估方面均優(yōu)于現(xiàn)有的加速擴散模型。
論文地址:https://arxiv.org/abs/2412.18945項目主頁:https://single-trajectory-distillation.github.io/項目Github:https://github.com/dynamic-X-LAB/Single-Trajectory-Distillation項目模型:https://huggingface.co/Single-Trajectory-Distillation/Single-Trajectory-Distillation關鍵詞:AIGC、視頻風格遷移、擴散模型加速
STD與其他方法的差異
如圖2所示,(a)中的傳統(tǒng)一致性蒸餾方法(OtherCMs)從x_0加噪得到不同的x_t,再擬合多條PF-ODE軌跡的初始部分,存在軌跡不對齊問題。而在(b)中,文章提出的單軌跡蒸餾(Single-TrajectoryDistillation,STD)方法則從一個固定的加噪狀態(tài)x_(τ_η)出發(fā),通過教師模型完整地去噪出多個x_t,并以此為訓練目標,使學生模型在一條完整軌跡上實現(xiàn)自一致性。這種策略有效解決了訓練-推理路徑不一致的問題,提升了整體生成質(zhì)量。
為了避免從x_(τ_η)開始反復推理帶來的訓練開銷,進一步提出了軌跡緩存庫(trajectorybank),用于預存教師模型軌跡中的中間狀態(tài),從而保持訓練效率不變。同時,引入了非對稱對抗損失(asymmetricadversarialloss),對不同噪聲級別下的生成圖與真實圖進行對比,有效提升圖像飽和度,減少紋理噪聲。
前置理論
【擴散模型】
【軌跡】
【基于部分加噪的編輯】
方法介紹
【單軌跡蒸餾理論】
在擴散模型中,理想情況下反向去噪軌跡應與前向擴散軌跡嚴格互逆。但實際中,不完美去噪模型會導致:
針對圖像/視頻風格化任務中固定起點η的需求,提出基于一致性模型僅在固定起點的單條軌跡上做一致性蒸餾,具體包含兩個關鍵點:
根據(jù)第二部分對軌跡的定義,可以寫出單軌跡蒸餾損失函數(shù)的表達式如下:
為降低蒸餾誤差,約束學生模型學習的時間步s接近教師步t:
其中γ表示控制目標時間步s的取值下限比例因子通過縮短t與s的距離,可以減小誤差上界,同時保留隨機性提升模型性能。
【軌跡狀態(tài)庫】
【非對稱對抗損失】
其中F表示DINO-v2模型,D_ψ表示判別器,ψ表示判別器的可學習參數(shù),x_r指對x_0加噪r步后獲得的樣本。
實驗結(jié)果
訓練集:Open-Sora-Plan-v1.0.0測試集:wikiArt(10張)+COCO(100張)+自定義100張圖像/12個視頻及15種風格圖像的測試集評估指標:風格相似度(CSD)、LAION美學評分和時間一致性(WarpingError)指標對比方法:LCM/TCD/PCM/TDD/Hyper-SD/SDXL-Lightning/MCM
【對比實驗】
STD與當前多種加速方法在8步、6步、4步下進行對比,在風格相似性和美學分數(shù)上達到SOTA水平。其中圖像生成在NFE=8時CSD分數(shù)比Hyper-SD提升↑0.032;視頻生成的WarpingError達到0.166,顯著優(yōu)于MCM的0.257。從可視化(圖4)中可以看出STD方法的風格質(zhì)量和圖像質(zhì)量顯著更高;在不同CFG的定量指標折線圖中(圖5)也表現(xiàn)出了更優(yōu)水平。
視頻效果:
【消融實驗】
文章對單軌跡蒸餾方法、軌跡狀態(tài)庫以及非對稱對抗損失函數(shù)做了消融實驗(表2),當使用軌跡狀態(tài)庫時,抵消了STD帶來的額外3.8倍訓練耗時,而STD方法和非對稱對抗損失函數(shù)都顯著提升了風格相似性分以及美學分。
其他重要參數(shù)的取值和特性消融實驗:
STD和非對稱對抗損失強度(Fig6):強度越大,細節(jié)和噪點越少,對比度越強,畫質(zhì)越好。
不同的噪聲起點(Fig8):η越大,風格化程度越大,但是內(nèi)容相關性越弱。
不同的目標時間步s的取值下限比例因子(Fig10):更大的γ值帶來更低噪聲,更強的非對稱對抗損失產(chǎn)生更高對比度;γ=0.7在風格保持與細節(jié)呈現(xiàn)間取得最佳平衡。
非對稱對抗損失目標時間步位置(Table3、Fig9):當r
【可擴展性試驗】
文章進一步討論了STD方法的適用范圍,從STD的理論推導上看,該方法可用于其他任何“基于部分噪聲的圖像/視頻編輯”任務,如inpainting等。為了驗證猜想,文章展示了一組使用STD和其他加速方法用于inpainting的對比圖。如圖7,相比LCM和TCD方法,STD的inpainting效果更加自然。
結(jié)語
文章針對基于一致性模型的圖像視頻風格遷移加速方法,重點優(yōu)化了風格相似性與美學質(zhì)量。研究發(fā)現(xiàn)前向SDE軌跡中不同噪聲強度會導致PF-ODE軌跡產(chǎn)生差異,據(jù)此提出基于特定噪聲強度的單軌跡蒸餾方法(STD),有效解決了訓練與推理軌跡不對齊問題。為降低STD方法的訓練成本,創(chuàng)新性引入軌跡庫機制,并采用非對稱對抗損失提升生成質(zhì)量。對比實驗驗證了本方法在風格保持與美學表現(xiàn)上的優(yōu)越性,系統(tǒng)消融實驗證實了各模塊的有效性。該方法可擴展至部分噪聲編輯任務,文章已探索了基于STD的圖像修復應用,為后續(xù)相關工作提供新思路。
小說:種田賺錢,斗極品,一步步走向富貴!
穿越種田文:昔日白領化身彪悍女狼,斗極品,安家宅,棒打無情郎
種田文,昔時溫柔白領化身彪悍女狼,斗極品,安家宅,棒打無情郎
免責聲明:本文內(nèi)容由開放的智能模型自動生成,僅供參考。