機器之心報道
沒等來DeepSeek官方的R2,卻迎來了一個速度更快、性能不弱于R1的「野生」變體!
這兩天,一個名為「DeepSeekR1T2」的模型火了!
這個模型的速度比R1-0528快200%,比R1快20%。除了速度上的顯著優(yōu)勢,它在GPQADiamond(專家級推理能力問答基準)和AIME24(數(shù)學(xué)推理基準)上的表現(xiàn)均優(yōu)于R1,但未達到R1-0528的水平。
在技術(shù)層面,采用了專家組合(AssemblyofExperts,AoE)技術(shù)開發(fā),并融合了DeepSeek官方的V3、R1和R1-0528三大模型。
當然,這個模型也是開源的,遵循MIT協(xié)議,并在HuggingFace上開放了權(quán)重。
HuggingFace地址:https://huggingface.co/tngtech/DeepSeek-TNG-R1T2-Chimera
經(jīng)過進一步了解,我們發(fā)現(xiàn):DeepSeekR1T2是德國一家AI咨詢公司「TNG」推出的,模型全稱為「DeepSeek-TNGR1T2Chimera」(以下簡稱R1T2)。
該模型除了前文提到的在智力水平和輸出效率之間實現(xiàn)完美平衡之外,相較于這家公司的初代模型「R1TChimera」,智力大幅躍升,并實現(xiàn)了突破性的think-token一致性。
不僅如此,即使在沒有任何系統(tǒng)提示的情況下,該模型也能表現(xiàn)穩(wěn)定,提供自然的對話交互體驗。
在評論區(qū),有人誤以為這個模型出自DeepSeek官方,并且認為他們是不是也在走相同的路線:給模型起各種名稱,就是不用主系列下一代版本號?
更多的人認可該模型「找到了智能與輸出token長度之間的最佳平衡點,并且提升了速度」,并對該模型在現(xiàn)實世界的表現(xiàn)充滿了期待。
模型細節(jié)概覽
從HuggingFace主頁來看,R1T2是一個基于DeepSeekR1-0528、R1以及V3-0324模型構(gòu)建的AoEChimera模型。
該模型是一個采用DeepSeek-MoETransformer架構(gòu)的大語言模型,參數(shù)規(guī)模為671B。
R1T2是該公司4月26日發(fā)布的初代模型「R1TChimera」的首個迭代版本。相較于利用雙基模型(V3-0324+R1)的初代架構(gòu),本次升級到了三心智(Tri-Mind)融合架構(gòu),新增基模型R1-0528。
該模型采用AoE技術(shù)構(gòu)建,過程中利用較高精度的直接腦區(qū)編輯(directbrainedits)實現(xiàn)。這種精密融合不僅帶來全方位提升,更徹底解決了初代R1T的token一致性缺陷。
團隊表示,R1T2對比其他模型具備如下優(yōu)劣:
與DeepSeekR1對比:R1T2有望成為R1的理想替代品,兩者幾乎可以通用,并且R1T2性能更佳,可直接替換。
與R1-0528對比:如果不需要達到0528級別的最高智能,R1T2相比之下更加經(jīng)濟。
與R1T對比:通常更建議使用R1T2,除非R1T的特定人格是最佳選擇、思考token問題不重要,或者極度需求速度。
與DeepSeekV3-0324對比:V3速度更快,如果不太關(guān)注智能可以選擇V3;但是,如果需要推理能力,R1T2是首選。
此外,R1T2的幾點局限性表現(xiàn)在:
R1-0528雖推理耗時更長,但在高難度基準測試中仍優(yōu)于R1T2;
經(jīng)SpeechMap.ai(由xlr8harder提供)測評,R1T2應(yīng)答克制度(reserved)顯著高于R1T,但低于R1-0528;
暫不支持函數(shù)調(diào)用:受R1基模型影響,現(xiàn)階段不推薦函數(shù)調(diào)用密集型場景(后續(xù)版本可能修復(fù));
基準測試變更說明:開發(fā)版由AIME24+MT-Bench變更為AIME24/25+GPQA-Diamond測評體系,新體系下R1與初代R1T的分差較早期公布數(shù)據(jù)更大。
最后,關(guān)于R1T2中重要的AoE技術(shù),可以參考以下論文。
論文標題:AssemblyofExperts:Linear-timeconstructionoftheChimeraLLMvariantswithemergentandadaptablebehaviors
百度文庫領(lǐng)先發(fā)布上百項AI功能,讓每個人都成為全能創(chuàng)作者
行業(yè)領(lǐng)先的內(nèi)容獲取和創(chuàng)作生態(tài),讓人人成為全能創(chuàng)作者除了AI能力的持續(xù)“上新”,百度文庫致力于建設(shè)行業(yè)領(lǐng)先的內(nèi)容獲取和創(chuàng)作生態(tài),與行業(yè)伙伴實現(xiàn)多元、共贏發(fā)展。優(yōu)質(zhì)作者和多元內(nèi)容,構(gòu)成了百度文庫的多元生態(tài)。大會上,百度文庫正式發(fā)布“熱源計劃”,通過新工具、新渠道、新政策,實現(xiàn)內(nèi)容流量、知識價值和作者收益的全面提升_。權(quán)威 2018騰訊全球合作伙伴大會期間,企鵝號發(fā)布了“一拍即合”騰訊創(chuàng)作者社群計劃,宣布成立騰訊短視頻創(chuàng)作聯(lián)盟,旨在聚合內(nèi)容行業(yè)最有潛力的短視頻創(chuàng)作者,通過系統(tǒng)的訓(xùn)練、定期的行業(yè)交流和平臺運營支持等方式,幫助這些創(chuàng)作者成為短視頻行業(yè)復(fù)合型人才,同時也為行業(yè)貢獻更多優(yōu)質(zhì)內(nèi)容。2018年11月,騰訊短視頻創(chuàng)作聯(lián)盟正式啟動第一后面會介紹。自媒體創(chuàng)作者的全能神器