據(jù)昆侖萬(wàn)維介紹,Skywork-R1V3.0在后訓(xùn)練階段通過(guò)強(qiáng)化學(xué)習(xí)策略深度激發(fā)模型的跨模態(tài)推理能力,在復(fù)雜邏輯建模與跨學(xué)科泛化方面實(shí)現(xiàn)雙重飛躍。
Skywork-R1V3.0基于上一代推理模型Skywork-R1V2.0蒸餾數(shù)據(jù)進(jìn)行“冷啟動(dòng)”,通過(guò)拒絕采樣構(gòu)建高質(zhì)量多模態(tài)推理訓(xùn)練集,指導(dǎo)開(kāi)源視覺(jué)大模型InternVL-38B(38B參數(shù))學(xué)會(huì)多模態(tài)推理的基本格式和方法。
隨后引入強(qiáng)化學(xué)習(xí)算法GRPO(GroupRelativePolicyOptimization)深度激發(fā)模型的推理潛能,成功實(shí)現(xiàn)推理能力在圖像和文本模態(tài)之間的遷移,顯著提升其跨模態(tài)、多學(xué)科場(chǎng)景下的理解與分析表現(xiàn)。
據(jù)介紹,SkyworkR1V3.0僅依賴約1.2萬(wàn)條監(jiān)督微調(diào)樣本和1.3萬(wàn)條強(qiáng)化學(xué)習(xí)樣本,便實(shí)現(xiàn)高效訓(xùn)練,充分體現(xiàn)了“小數(shù)據(jù)激發(fā)大能力”的優(yōu)勢(shì)。
性能方面,該模型在權(quán)威的綜合性多模態(tài)評(píng)測(cè)MMMU中取得了76.0的開(kāi)源模型最高成績(jī),超越了Claude-3.7-Sonnet(75.0)和GPT-4.5(74.4)等閉源模型,逼近人類初級(jí)專家水平(76.2)。
昆侖萬(wàn)維表示,R1V3.0的高考數(shù)學(xué)突出成績(jī),接近多款頂尖閉源模型,達(dá)到了開(kāi)源多模態(tài)推理模型的最優(yōu)結(jié)果,證明了其卓越的實(shí)戰(zhàn)解題表現(xiàn)和跨場(chǎng)景泛化的穩(wěn)定性。
在更考驗(yàn)視覺(jué)推理的EMMA-Mini(CoT)上,以開(kāi)源領(lǐng)先的40.3分超過(guò)更大尺寸的Qwen2.5-VL-72B-Instruct和InternVL3-78B等模型,并縮小了與閉源模型Claude-3.7-Sonnet的差距。
在覆蓋中小學(xué)知識(shí)點(diǎn)的MMK12上,R1V3.0以78.5分再度領(lǐng)跑開(kāi)源陣營(yíng),超越Qwen2.5-VL-72B-Instruct、InternVL3-78B等開(kāi)源模型以及GPT-4.5和GPT-4o等閉源模型。
較上一代模型而言,Skywork-R1V3.0在物理、邏輯等多個(gè)關(guān)鍵領(lǐng)域取得了顯著性能提升,成為當(dāng)前開(kāi)源領(lǐng)域最強(qiáng)勁的多模態(tài)推理模型之一:
物理推理:在物理領(lǐng)域的權(quán)威評(píng)測(cè)PhyX-MC-Text-Minimal和SeePhys中,Skywork-R1V3.0分別取得52.8分和31.5分的開(kāi)源最優(yōu)成績(jī),充分展現(xiàn)了其在多模態(tài)物理推理方面的卓越能力。模型不僅能夠精準(zhǔn)理解力學(xué)、電磁學(xué)等基礎(chǔ)物理概念,還擅長(zhǎng)處理圖文結(jié)合的復(fù)雜物理問(wèn)題(例如解析受力分析圖、電路示意圖等專業(yè)圖表),其物理推理水平已顯著超過(guò)當(dāng)前主流開(kāi)源模型以及GPT-4.5和Gemini2Flash等部分閉源模型。
邏輯推理:Skywork-R1V3.0在多項(xiàng)權(quán)威邏輯推理評(píng)測(cè)中同樣表現(xiàn)卓越:在LogicVista測(cè)試中取得59.7分,在VisuLogic測(cè)試中取得28.5分。在MME-Reasoning中,Skywork-R1V3.0更是獲得42.8分的佳績(jī),超越了閉源模型Claude-4-Sonnet。這充分體現(xiàn)了Skywork-R1V3.0在多模態(tài)邏輯一致性、條件推理和跨模態(tài)因果建模方面的領(lǐng)先能力。
數(shù)學(xué)推理:在數(shù)學(xué)類問(wèn)題上,R1V3.0展現(xiàn)出卓越的解題能力。在權(quán)威數(shù)學(xué)評(píng)測(cè)基準(zhǔn)MathVista、MathVerse和MathVision上,R1V3.0分別取得了77.1分、59.6分和52.6分的優(yōu)異成績(jī),領(lǐng)先于Qwen2.5-VL-72B-Instruct、InternVL3-78B、QVQ-72B-Preview等開(kāi)源模型。
Skywork-R1V3.0下載:
HuggingFace地址:https://huggingface.co/Skywork/Skywork-R1V3-38B
GitHub地址:https://github.com/SkyworkAI/Skywork-R1V
免責(zé)聲明:本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成,僅供參考。