IT之家7月22日消息,SeedGR-3是字節(jié)跳動(dòng)Seed團(tuán)隊(duì)提出的全新Vision-Language-ActionModel(VLA)模型,它具備泛化到新物體和新環(huán)境的能力,能理解包含抽象概念的語言指令,還能夠精細(xì)地操作柔性物體。
據(jù)Seed介紹,與此前需要大量機(jī)器人軌跡訓(xùn)練的VLA模型不同,GR-3通過少量的人類數(shù)據(jù)即可實(shí)現(xiàn)高效微調(diào),從而快速且低成本地遷移至新任務(wù),以及認(rèn)識(shí)新物體。
此外,得益于改進(jìn)的模型結(jié)構(gòu),GR-3能有效處理長(zhǎng)程任務(wù)并能進(jìn)行高靈巧度的操作,包括雙手協(xié)同操作、柔性物體操作,以及融合底盤移動(dòng)的全身操作等。
具體而言,這些能力是通過一種多樣的模型訓(xùn)練方法實(shí)現(xiàn)的:除遙操作機(jī)器人收集的高質(zhì)量真機(jī)數(shù)據(jù)外,團(tuán)隊(duì)還經(jīng)過用戶授權(quán),征集了基于VR設(shè)備的人類軌跡數(shù)據(jù),以及公開、可用的大規(guī)模視覺語言數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練——多樣性數(shù)據(jù)的融合是GR-3區(qū)別于現(xiàn)有VLA模型的亮點(diǎn)之一。
同時(shí),字節(jié)跳動(dòng)Seed團(tuán)隊(duì)還開發(fā)了一款具備高靈活性、高可靠性的通用雙臂移動(dòng)機(jī)器人ByteMini,相當(dāng)于是專為GR-3這顆“大腦”打造的“靈活軀體”。
ByteMini具備22個(gè)全身自由度以及獨(dú)特的手腕球角設(shè)計(jì),使它能夠像人類一樣靈活,在狹小空間中完成各種精細(xì)操作,攜帶GR-3模型這顆“機(jī)器人大腦”,可高效在真實(shí)環(huán)境中處理復(fù)雜任務(wù)。
GR-3在各類任務(wù)中展現(xiàn)的特點(diǎn)包括:
“心靈”:GR-3在超長(zhǎng)序列(子任務(wù)數(shù)≥10)的餐桌整理任務(wù)中,可高魯棒性、高成功率地完成任務(wù),并在過程中嚴(yán)格跟隨人類發(fā)出的分步指令;
“手巧”:GR-3在復(fù)雜靈巧的掛衣服任務(wù)中,能夠控制雙臂協(xié)同操作可形變的柔性物體,甚至可以魯棒地識(shí)別并整理不同擺放方式的衣物;
泛化好:GR-3在各類物體的抓取放置任務(wù)中,可以泛化到抓取未見過的物體,同時(shí)可理解包含復(fù)雜抽象概念的指令。
經(jīng)過團(tuán)隊(duì)上千次系統(tǒng)性實(shí)驗(yàn)測(cè)試,GR-3表現(xiàn)超過業(yè)界此前可測(cè)試具體性能的VLA頭部模型π0。未來,團(tuán)隊(duì)希望GR-3可以成為邁向通用機(jī)器人“大腦”的重要一步。
在基礎(chǔ)場(chǎng)景和新環(huán)境中,加入公開可用的圖文數(shù)據(jù)進(jìn)行訓(xùn)練不會(huì)帶來能力損失;在未見過的復(fù)雜指令和新物品任務(wù)中,這部分?jǐn)?shù)據(jù)分別能帶來42.8%和33.4%的成功率提升。
為持續(xù)提升GR-3應(yīng)對(duì)未見過物體的能力,團(tuán)隊(duì)利用VR設(shè)備采集了人類操作物體的數(shù)據(jù),結(jié)果發(fā)現(xiàn):只需要通過VR設(shè)備對(duì)相應(yīng)物品采集10條軌跡數(shù)據(jù),就可以讓GR-3操作這些物體的成功率從不到60%提升到超過80%。
團(tuán)隊(duì)還同時(shí)測(cè)試了GR-3跟隨分步指令的能力,結(jié)果發(fā)現(xiàn):GR-3在跟隨語言指令上,領(lǐng)先基準(zhǔn)模型,面對(duì)多件同類物品(如多個(gè)杯子),GR-3能按指令將他們“全放進(jìn)垃圾桶”,若指令無效(如餐桌上沒有藍(lán)色的碗,指令為“把藍(lán)色碗放進(jìn)籃子”),GR-3能準(zhǔn)確判斷并保持不動(dòng),而基準(zhǔn)模型則會(huì)隨機(jī)拿取物品。
此外,GR-3還能泛化到機(jī)器人數(shù)據(jù)中未包含的衣服。例如,當(dāng)機(jī)器人數(shù)據(jù)中的衣服均為長(zhǎng)袖款式時(shí),GR-3對(duì)短袖衣物同樣能有效處理。
IT之家附官方地址:
ArXiv:http://arxiv.org/abs/2507.15493
項(xiàng)目主頁:https://seed.bytedance.com/GR3
小說:少年邪天遭劫獲傳承,諸界為敵他獨(dú)闖,邪神破天震九州
小說:凡人修劍難入門,佛儒加身悟劍道,終成一代劍仙!
我們是惡毒反派(完結(jié))