盡管多模態(tài)大模型在數(shù)學(xué)、科學(xué)等結(jié)構(gòu)化任務(wù)中取得了長足進(jìn)步，但在需要靈活解讀視覺信息的通用場景下，其性能提升瓶頸依然顯著。現(xiàn)有模型普遍依賴基于知識的思維模式，卻缺乏對視覺線索的深度校驗與再思考能力，導(dǎo)致在復(fù)雜場景下頻繁出錯。
為解決這一難題，來自中科院自動化研究所紫東太初大模型研究中心的研究者提出GThinker，一個旨在實現(xiàn)通用多模態(tài)推理的新型多模態(tài)大模型。
GThinker的核心在于其創(chuàng)新的「線索引導(dǎo)式反思（Cue-GuidedRethinking）」模式，它賦予了模型在推理過程中主動校驗、修正視覺理解的能力。
通過精心設(shè)計的兩階段訓(xùn)練流程，GThinker在極具挑戰(zhàn)性的M3CoT綜合推理基準(zhǔn)上取得了超越了最新的O4-mini模型，并在多個數(shù)學(xué)及知識推理榜單上展現(xiàn)出SOTA性能，證明了該方法的有效性和泛化能力。目前，論文、數(shù)據(jù)及模型均已開源。
慢思考的瓶頸：
當(dāng)模型在通用場景「視而不見」
當(dāng)前，無論是開源的Qwen2.5-VL，還是閉源的GPT-4o，多模態(tài)大模型的能力邊界正在被不斷拓寬。尤其在引入了思維鏈（CoT）等慢思考策略后，模型在數(shù)學(xué)、科學(xué)等邏輯密集型任務(wù)上的表現(xiàn)得到了顯著增強(qiáng)。
然而，這些進(jìn)步并未完全轉(zhuǎn)化為在通用多模態(tài)場景下的推理能力。與擁有明確答案和嚴(yán)格邏輯結(jié)構(gòu)的數(shù)理任務(wù)不同，通用場景（如理解一幅畫的寓意、分析復(fù)雜的日常情景）往往涉及：
高度的視覺依賴：答案強(qiáng)依賴于對圖像中多個、甚至有歧義的視覺線索的正確解讀。
復(fù)雜的推理路徑：沒有固定的解題范式，需要模型根據(jù)具體問題靈活組織推理步驟。
現(xiàn)有方法，無論是基于結(jié)構(gòu)化CoT的，還是基于結(jié)果獎勵強(qiáng)化學(xué)習(xí)的，都存在明顯的局限性。它們在推理中一旦對某個視覺線索產(chǎn)生誤判，往往會「一條道走到黑」，缺乏中途「回頭看」、修正認(rèn)知偏差的機(jī)制。
現(xiàn)有主流多模態(tài)推理方法的特點與局限性
GThinker：
從「思維鏈」到「再思考鏈」
為了打破這一瓶頸，研究團(tuán)隊提出了GThinker，其核心是一種全新的推理模式——「線索引導(dǎo)式反思」（Cue-GuidedRethinking）。該模式將推理過程升級為一種更接近人類思維的「思考-反思-修正」閉環(huán)，它不強(qiáng)制規(guī)定僵化的推理結(jié)構(gòu)，而是要求模型在自由推理后，對關(guān)鍵視覺線索進(jìn)行一次系統(tǒng)性的回溯驗證。
Cue-Rethinking核心流程，虛線框代表可能進(jìn)行
整個過程分為三個階段：
1.自由初始推理：模型根據(jù)問題和圖像內(nèi)容，自由地進(jìn)行一步步推理，同時使用vcues_*標(biāo)簽標(biāo)記出其所依賴的關(guān)鍵視覺線索。
2.反思觸發(fā)：在初步推理鏈完成后，一個反思提示（如「Let'sverifyeachvisualcueanditsreasoningbeforefinalizingtheanswer.」）被觸發(fā)，引導(dǎo)模型進(jìn)入基于再思考階段。
3.基于視覺線索的反思：模型逐一回顧所有標(biāo)記的視覺線索，檢查其解釋是否存在不一致、錯誤或遺漏。一旦發(fā)現(xiàn)問題，模型會修正或補(bǔ)充對該線索的理解，并基于新的理解重新進(jìn)行推理，最終得出結(jié)論。
GThinker推理模式示例
以上圖為例，GThinker在初步推理中可能將圖形誤判為「螃蟹」。但在再思考階段，它會發(fā)現(xiàn)「紅色三角形更像蝦頭而非蟹身」、「藍(lán)粉組合更像蝦尾而非蟹鉗」，從而修正整個推理路徑，最終得出正確答案「蝦」。這種機(jī)制使得GThinker能夠有效處理有歧義或誤導(dǎo)性的視覺信息，極大地提升了推理的準(zhǔn)確性。
兩階段訓(xùn)練法：
如何教會模型進(jìn)行再思考？
為了讓模型內(nèi)化這種強(qiáng)大的反思能力，GThinker設(shè)計了一套環(huán)環(huán)相扣的兩階段訓(xùn)練框架。
模式引導(dǎo)冷啟動
不同于數(shù)理領(lǐng)域在預(yù)訓(xùn)練后自然涌現(xiàn)的反思能力，單純依靠來結(jié)果獎勵強(qiáng)化學(xué)習(xí)「探索」出如此復(fù)雜的再思考行為，不僅成本高昂且效率低下。因此，GThinker首先通過監(jiān)督微調(diào)的方式，為模型「冷啟動」構(gòu)建基于視覺線索的再思考能力。
為此，首先通過「多模態(tài)迭代式標(biāo)注」構(gòu)建了一個包含7K高質(zhì)量冷啟動樣本數(shù)據(jù)集：利用GPT-4o、O1、O3等多個先進(jìn)模型的互補(bǔ)優(yōu)勢，對覆蓋通用、數(shù)學(xué)、科學(xué)三大領(lǐng)域的復(fù)雜問題進(jìn)行迭代式地推理和標(biāo)注，生成了包含高質(zhì)量再思考路徑的訓(xùn)練數(shù)據(jù)。
在訓(xùn)練時，GThinker采用「模式引導(dǎo)選擇性格式化」策略，僅對那些基座模型會產(chǎn)生視覺誤判的樣本應(yīng)用完整的「反思鏈」格式，其余則保留為標(biāo)準(zhǔn)推理格式。這使得模型能夠?qū)W會在「需要時」才進(jìn)行反思，而非機(jī)械地執(zhí)行。
激勵強(qiáng)化學(xué)習(xí)
在掌握「如何思考」以及基于視覺線索進(jìn)行「再思考」的能力基礎(chǔ)上，GThinker進(jìn)一步引入基于可驗證獎勵的強(qiáng)化學(xué)習(xí)方法，設(shè)計混合獎勵機(jī)制并構(gòu)建覆蓋多種推理類型的多場景訓(xùn)練數(shù)據(jù)，以持續(xù)激勵模型在多樣化任務(wù)中進(jìn)行主動探索，從而實現(xiàn)思維模式的跨場景泛化遷移。
多場景數(shù)據(jù)構(gòu)建：廣泛收集開源推理數(shù)據(jù)，并通過embedding聚類的方式進(jìn)行均衡和多樣性采樣，從中精選包含約4K條多場景、多任務(wù)的強(qiáng)化學(xué)習(xí)訓(xùn)練數(shù)據(jù)集，為泛化能力的提升提供數(shù)據(jù)保障。
DAPO訓(xùn)練：相較于GRPO，DAPO采用動態(tài)采樣的方式，保證batch樣本的有效性，并應(yīng)用無KL和cliphigher等策略，更適用于長鏈思考和探索，使模型學(xué)會在不同場景下選擇最優(yōu)推理方式。
混合獎勵計算：針對選擇題、數(shù)學(xué)題等常見任務(wù)類型，分別采用精確匹配、Math-Verify工具校驗的方式計算獎勵，對于通用場景下常見的開放式簡答題，通過加入格式化響應(yīng)讓模型回答歸納到短語或單詞的形式，以應(yīng)用精確匹配的計算方式，從而確保了獎勵信號的準(zhǔn)確性和進(jìn)一步拓展支持任務(wù)的多樣性。
結(jié)果
在復(fù)雜、多步及多領(lǐng)域的多模態(tài)推理基準(zhǔn)M3CoT上，GThinker在多個場景的測試中超過當(dāng)前先進(jìn)的開源多模態(tài)推理模型及O4-mini。
在通用場景（MMStar、RealWorldQA）、多學(xué)科場景（MMMU-Pro）及數(shù)學(xué)基準(zhǔn)測試中，GThinker實現(xiàn)了優(yōu)于或不遜于現(xiàn)有先進(jìn)模型的表現(xiàn)，證明了GThinker所學(xué)的再思考能力并未造成「偏科」，而是實現(xiàn)了整體通用能力提升。
盡管GThinker的數(shù)據(jù)均為復(fù)雜推理任務(wù)構(gòu)建，但經(jīng)過這一方法及數(shù)據(jù)的訓(xùn)練后，當(dāng)前最領(lǐng)先的開源模型依然能夠在通用指標(biāo)上進(jìn)一步提升。研究團(tuán)隊選取了OpenCompass閉源多模態(tài)榜單中10B規(guī)模下最新排名前三的開源模型，在學(xué)術(shù)榜單上進(jìn)行測試。結(jié)果顯示，GThinker在這三款模型上均帶來約1個百分點左右的平均性能提升，進(jìn)一步印證了其方法的有效性與泛化能力。
Demo
真心安利《逆天小毒妃》高分場景讓你想成為書中的女一號
”南宮凝背抵著門，尖聲大叫——_。肝腸寸斷的古言文：大婚當(dāng)天，他親手將她五馬分尸，親迎小妾 書評：她情急之下跑進(jìn)這里，看來是對的，這是君千夜的書房，除了他本人，王府的護(hù)衛(wèi)不敢硬闖，那就是說，她在君千夜回來之前是安全的了_。不知道君千夜什么時候回來，但是她的時間絕對不多了，她必須要趕緊想辦法自后面會介紹_。
《妙手毒妃》她醉心毒術(shù),他執(zhí)掌王朝原本背道而馳的二人再次結(jié)緣
第二本：《盛世毒妃：侯門嫡女不好惹》作者：甜果敢簡介：她是侯門嫡女，被污通奸謀反，全族慘死，她也被毒死在深宮冷院。一縷冤魂未散，帶著滿腔恨意重生未嫁之時-。這一世她必不會重蹈覆，殺身之恨，睚眥必報。她隨手抓來一個腹黑皇長孫，看著順眼，就助你登臨帝位好了。這一世，溫柔賢淑，善良都見鬼去后面會介紹_。
被愛人和閨蜜雙雙背叛?重活一世,我從制奪命散開始復(fù)仇!
今日推薦：《逆天毒妃：傾世大小姐》作者：沐凝萱-。點擊文末超鏈接開始觀看吧～第五百五十章：新春佳節(jié)北辰空微微挑了挑眉，默默地點了點頭|?！翱雌渌说男υ捯苍S并不爽，但是看到南月無痕的笑話，是真的很爽，以后要是看到他被三宮六院、佳麗三千包圍了，我會更爽的————。”“你呀你，該說你什么才好？”千后面會介紹|-。
延伸閱讀：與 多模態(tài)大模型學(xué)會回頭看 中科院自動化所提出GThi：nker“，模型” 的相關(guān)文章
女子得知弟媳被家暴怒扇親弟弟
愛康集團(tuán)起訴張女士
加沙的孩子即將被餓死，BIBI認(rèn)為漢堡王比麥當(dāng)勞好吃
1000種生物混戰(zhàn)，手撕天外之魔，獵殺清道夫，低階河王崛起?。竞诎瞪?】
少林寺主持釋永信被查，「少林寺」到底是不是企業(yè)？其投資版圖有多大？傳說中的「寺廟經(jīng)濟(jì)」如何盈利？
10號臺風(fēng)白鹿即將生成或直奔江浙滬
為了不用擦白板，我們做了這個...
趙本山近照曝光 頭發(fā)全白
誰能讓我社死，我就V他50
一位蔚來車主因一年行駛 17 萬公里被取消終身免費換電、終身質(zhì)保等權(quán)益，這種做法是否合理？
