本文第一作者是來自南洋理工大學(xué)的博士生趙克森,主要研究方向?yàn)镽einforcementLearninginMLLMs.該論文已被ICCV2025錄用。
隨著文本領(lǐng)域中思維鏈(Chain-of-Thought,CoT)推理機(jī)制的成功應(yīng)用,研究者開始將該方法引入視覺理解任務(wù),以提升模型的推理能力和可解釋性。
然而,現(xiàn)有模型局限于文本級(jí)別的思維鏈推理,且處理圖像的粒度固定,難以根據(jù)語義線索動(dòng)態(tài)關(guān)注圖像中的關(guān)鍵區(qū)域。針對(duì)上述問題,本文提出UV-CoT(UnsupervisedVisualChain-of-Thought),一種無監(jiān)督視覺思維鏈推理新框架
該方法以「關(guān)鍵區(qū)域→推理過程」的人類視覺理解方式為參考(如下圖所示),設(shè)計(jì)了無監(jiān)督的數(shù)據(jù)生成與偏好優(yōu)化機(jī)制,動(dòng)態(tài)聚焦關(guān)鍵區(qū)域,實(shí)現(xiàn)細(xì)粒度推理,顯著提升了模型的空間感知與圖文推理能力。
論文標(biāo)題:UnsupervisedVisualChain-of-ThoughtReasoningviaPreferenceOptimization論文鏈接:https://arxiv.org/abs/2504.18397項(xiàng)目地址:https://kesenzhao.github.io/my_project/projects/UV-CoT.html代碼倉庫:https://github.com/kesenzhao/UV-CoT開源模型:https://huggingface.co/papers/2504.18397
背景:有監(jiān)督訓(xùn)練
需要高昂的人工成本
現(xiàn)有方法采用有監(jiān)督微調(diào)(SupervisedFine-Tuning,SFT)策略訓(xùn)練模型,使用大量有標(biāo)簽的思維鏈推理數(shù)據(jù),由人工標(biāo)注關(guān)鍵區(qū)域及其推理過程。這類方法面臨以下挑戰(zhàn):
人工標(biāo)注成本高,擴(kuò)展性差:標(biāo)注關(guān)鍵圖像區(qū)域和推理路徑需要耗費(fèi)大量人力和時(shí)間,尤其在復(fù)雜視覺語義理解任務(wù)中,難以適應(yīng)多任務(wù)或大規(guī)模場(chǎng)景。
訓(xùn)練信號(hào)單一,泛化能力有限:SFT僅利用人工標(biāo)注的「正樣本」(正確區(qū)域及回答),忽略其他潛在合理或不合理的區(qū)域與推理路徑,導(dǎo)致模型在未知場(chǎng)景下的泛化能力不足。
UV-CoT設(shè)計(jì)了一套自動(dòng)化的偏好數(shù)據(jù)生成與評(píng)估流程,結(jié)合改進(jìn)的偏好優(yōu)化算法Score-DPO(sDPO),在不依賴人工標(biāo)注的前提下,通過偏好評(píng)分排序引導(dǎo)模型實(shí)現(xiàn)無監(jiān)督圖像級(jí)思維鏈學(xué)習(xí)(如下圖所示)。
貢獻(xiàn)一:無監(jiān)督偏好數(shù)據(jù)生成與評(píng)估
通過動(dòng)態(tài)生成偏好數(shù)據(jù),UV-CoT減少了對(duì)高質(zhì)量標(biāo)注數(shù)據(jù)的依賴,能夠在無監(jiān)督數(shù)據(jù)條件下實(shí)現(xiàn)圖像級(jí)思維鏈推理。
貢獻(xiàn)二:sDPO與迭代學(xué)習(xí)
UV-CoT使用改進(jìn)的直接偏好優(yōu)化(DPO)算法sDPO,通過引入偏好分?jǐn)?shù)差異優(yōu)化圖像級(jí)思維鏈推理,并采用迭代學(xué)習(xí)策略動(dòng)態(tài)適應(yīng)模型輸出分布。
sDPO損失函數(shù)如下:
實(shí)驗(yàn)亮點(diǎn)
顯著性能提升(表1):在六大基準(zhǔn)上,優(yōu)于有監(jiān)督的思維鏈模型Visual-CoT-7B,遠(yuǎn)超目標(biāo)模型LLaVA-1.5-7B和其他無思維鏈模型。
泛化能力強(qiáng),易于拓展(表2):在零樣本設(shè)置下,UV-CoT平均提升2.5%,添加額外無標(biāo)注數(shù)據(jù)后,平均提升達(dá)5.1%。
勝任高分辨率場(chǎng)景(表3):在V*Bench上,UV-CoT平均得分0.402,平均提升5.5%,尤其在OCR任務(wù)中提升8.4%。
不依賴評(píng)估模型,邊界框生成質(zhì)量高(表5):UV-CoT通過自評(píng)估(目標(biāo)模型作為評(píng)估器)表現(xiàn)仍遠(yuǎn)超目標(biāo)模型LLaVA-1.5-7B(+4.8%),接近12B模型OmniLMM-12B(-0.2%)。將UV-CoT生成的邊界框應(yīng)用于OmniLMM-12B和LLaVA-1.5-7B輔助推理,性能分別提升7.3%和4.7%。
偏好數(shù)據(jù)與思維鏈推理可視化
結(jié)語
UV-CoT提出了一種創(chuàng)新的無監(jiān)督視覺思維鏈推理框架,通過自動(dòng)化的數(shù)據(jù)生成與對(duì)比評(píng)估機(jī)制,成功擺脫了對(duì)人工標(biāo)注的依賴,實(shí)現(xiàn)了關(guān)鍵圖像區(qū)域的自動(dòng)識(shí)別與推理優(yōu)化。該方法為高效、可擴(kuò)展的多模態(tài)推理提供了新思路,為未來無監(jiān)督視覺理解研究奠定了堅(jiān)實(shí)基礎(chǔ)。
孽戀篇 天美 想要找你的姐妹也不是不可以, 只要你嫁給我, 我保證幫你找到你要找的人 初次見面, 他用自己的優(yōu)勢(shì)逼迫她嫁給他。 “ 可以, 不過, 你要幫我找到我要找的人才行。 ” 某女冷哼, 心底十分不屑, 如果不是為了自己的好友, 她才懶得和這個(gè)老掉牙的古人打交道, 什么狗屁八年前, 老子不知道。 她是現(xiàn)代萬千寵愛的公主, 卻穿越到異世, 這里男尊女卑, 她是個(gè)大名鼎鼎的異類。 他是我行我素, 深不可測(cè)的風(fēng)沙堡堡主, 卻讓鮮血染上她的雙手。 情深篇: “ 水若寒, 你將來若負(fù)我, 哼哼, ” 某女冷笑, “ 我將你先奸后殺。 ” “ 來吧, 我保證你奸了之后絕對(duì)不舍得殺。 ” 某男乖乖躺下, 看到某女臉色越來越陰, 旋即笑瞇瞇 酸麻兮兮的道, “ 本王也只給愛妃一個(gè)人奸。 ” 斷情篇: “ 我們之間沒有信任, 所以才會(huì)發(fā)生那么多的事情, 或許, 離開, 是對(duì)我們來說, 是最好的結(jié)局。 ” 女子臉上冷得不帶一絲感情。 愛之深, 恨之切。 “ 天美, 你若離開, 天上地下, 我絕對(duì)會(huì)找到你, 你是我的, 永遠(yuǎn)都是我的。 ” 男子聲音陰霾, 若她離開, 他該去哪里找她 后記篇: “ 爹地, 爹地, 媽咪去和帥哥吃飯去了, 你快去追啊 ” 幾歲的小正太快步跑到某男面前, 拉起來就走, 吐出的卻是讓男子吐血的話語。 “ 這丫頭, 真是不想混了。 ” 一邊快速的走著, 一邊開口。 男子的眼底卻露出了溫和寵溺的笑容, 讓小正太忍不住鄙視自家老子。 都結(jié)婚那么多年了, 怎么還一副初戀的樣子? 【伊舞旗下作者出品】゛暮色年華|▍ヾ出品免責(zé)聲明:本文內(nèi)容由開放的智能模型自動(dòng)生成,僅供參考。