本文一作：陳天行，TianxingChen.github.io，2025級(jí)香港大學(xué)MMLab博士生，師從羅平教授。在學(xué)術(shù)頂會(huì)以一作/共一發(fā)表多篇論文，獲得ECCV協(xié)同具身智能研討會(huì)BestPaper，CVPRHighlight等。獲得CCF優(yōu)秀大學(xué)生等多項(xiàng)榮譽(yù)以及20余項(xiàng)國(guó)家級(jí)競(jìng)賽獎(jiǎng)項(xiàng)。擔(dān)任CVPR2025RoboTwin雙臂協(xié)作競(jìng)賽組織者。發(fā)起《具身智能技術(shù)指南》項(xiàng)目，已破6kGithubStars。Lumina具身智能社區(qū)聯(lián)合創(chuàng)始人。
最近，上海交通大學(xué)ScaleLab與香港大學(xué)MMLab@HKU領(lǐng)銜發(fā)布RoboTwin系列新作RoboTwin2.0以及基于RoboTwin仿真平臺(tái)在CVPR上舉辦的雙臂協(xié)作競(jìng)賽TechnicalReport。RoboTwin2.0開(kāi)源了大規(guī)模域隨機(jī)化雙臂操作數(shù)據(jù)合成器與50個(gè)操作任務(wù)的評(píng)測(cè)基準(zhǔn)集，TechnicalReport中分享了RoboTwin賽事的優(yōu)勝方案以及總結(jié)見(jiàn)解。
兩篇論文的第一作者為香港大學(xué)MMLab@HKU在讀博士生陳天行，通訊作者為上海交大ScaleLab助理教授穆堯以及香港大學(xué)副教授羅平。共同第一作者包括陳攢鑫、陳柏均、蔡子健、劉藝彬等。
RoboTwin2.0介紹視頻如下：
RoboTwin系列工作曾中稿CVPR2025Highlight、ECCV2024MAASWorkshopBestPaper，并作為第十九屆“挑戰(zhàn)杯人工智能+挑戰(zhàn)賽”官方賽題、RoboTwin雙臂協(xié)作競(jìng)賽賽題@CVPR2025MEISWorkshop、張江人形機(jī)器人創(chuàng)新創(chuàng)業(yè)大賽賽題，Github上斬獲1.2kStars。
論文標(biāo)題：RoboTwin2.0:AScalableDataGeneratorandBenchmarkwithStrongDomainRandomizationforRobustBimanualRoboticManipulation
TechnicalReport標(biāo)題：BenchmarkingGeneralizableDual-ArmManipulation:RoboTwinDual-ArmCollaborationChallengeatCVPR2025MEISWorkshop
TechnicalReport鏈接：https://arxiv.org/abs/2506.23351
引言
雙臂機(jī)器人在協(xié)同裝配、工具使用和物體交接等復(fù)雜場(chǎng)景中具有重要作用，但要訓(xùn)練出通用的VLA等操作策略，現(xiàn)有數(shù)據(jù)收集和仿真管線(xiàn)面臨多重瓶頸。一方面，真實(shí)示教數(shù)據(jù)規(guī)?；@取成本高、耗時(shí)長(zhǎng)，難以覆蓋足夠多的任務(wù)、物體形態(tài)與硬件差異；另一方面，現(xiàn)有仿真缺乏針對(duì)新任務(wù)的高效、可擴(kuò)展的專(zhuān)家數(shù)據(jù)生成方法；同時(shí)其域隨機(jī)化設(shè)計(jì)過(guò)于表層，無(wú)法模擬真實(shí)環(huán)境中復(fù)雜性；更未考慮不同雙臂平臺(tái)在運(yùn)動(dòng)學(xué)與抓取策略上的行為差異，導(dǎo)致數(shù)據(jù)合成方案難以在新環(huán)境或新硬件上泛化。
因此我們提出了RoboTwin2.0，提供基于多模態(tài)大模型與仿真在環(huán)的自動(dòng)化專(zhuān)家代碼合成方案，開(kāi)源了含731個(gè)，147類(lèi)帶豐富標(biāo)注物體的RoboTwin物體數(shù)據(jù)集（RoboTwin-OD），并基于兩者構(gòu)建了支持5款本體與50個(gè)任務(wù)的大規(guī)模域隨機(jī)化仿真雙臂操作數(shù)據(jù)合成器與評(píng)測(cè)基準(zhǔn)集。實(shí)驗(yàn)結(jié)果表明RoboTwin2.0的域隨機(jī)化數(shù)據(jù)可以極大地增強(qiáng)模型面對(duì)未見(jiàn)環(huán)境的魯棒性。我們開(kāi)源了代碼、預(yù)采集的操作數(shù)據(jù)以及用戶(hù)友好的文檔。
方法
1.專(zhuān)家代碼生成
在專(zhuān)家代碼生成方面，RoboTwin2.0首先引入了一套比1.0更加精簡(jiǎn)易用的API庫(kù)，顯著降低了大型多模態(tài)模型生成代碼的門(mén)檻；隨后在仿真閉環(huán)中，結(jié)合關(guān)鍵幀視覺(jué)觀測(cè)和實(shí)時(shí)環(huán)境反饋，以多模態(tài)大模型為核心不斷迭代優(yōu)化，持續(xù)提升任務(wù)專(zhuān)家代碼的準(zhǔn)確性與執(zhí)行效率。
2.RoboTwin-OD（RoboTwin物體數(shù)據(jù)集）
為了構(gòu)建更多樣的仿真操作數(shù)據(jù)，覆蓋更多的操作技能與交互物體，我們構(gòu)建了RoboTwin-OD（RoboTwinObjectDataset），包含147類(lèi)、731個(gè)實(shí)例，其中534個(gè)實(shí)例由我們基于AIGC生成并經(jīng)凸分解優(yōu)化，其余來(lái)自O(shè)bjaverse與SAPIENPartNet-Mobility。針對(duì)每個(gè)物體，我們精細(xì)標(biāo)注了多種操作點(diǎn)、操作方向，以及物體級(jí)別和操作級(jí)別的語(yǔ)義信息，為大模型提供了全面而清晰的語(yǔ)義理解支持。RoboTwin-OD不僅奠定了大規(guī)模仿真操作任務(wù)設(shè)計(jì)的基礎(chǔ)，也為復(fù)雜雜亂場(chǎng)景的布置提供了堅(jiān)實(shí)支撐。
3.面向本體的自適應(yīng)抓取
由于自由度和運(yùn)動(dòng)結(jié)構(gòu)的差異，不同機(jī)械臂在同一任務(wù)中的可達(dá)空間和操作偏好各異。為此，RoboTwin2.0針對(duì)每個(gè)物體構(gòu)建了涵蓋多種抓取軸與接近方向的操作候選集。具體做法是：結(jié)合機(jī)械臂的優(yōu)選接近方向、隨機(jī)姿態(tài)擾動(dòng)與并行運(yùn)動(dòng)規(guī)劃，生成豐富的抓取候選；并在可達(dá)性更高的方向上施加角度擾動(dòng)，以進(jìn)一步擴(kuò)展可行姿態(tài)空間。基于這種方法，RoboTwin2.0支持5種本體的操作數(shù)據(jù)合成與評(píng)測(cè)。
4.域隨機(jī)化
為了讓RoboTwin2.0在各種復(fù)雜且多變的真實(shí)場(chǎng)景下都能保持卓越的操作性能，我們?cè)跀?shù)據(jù)生成環(huán)節(jié)引入了一套系統(tǒng)化的DomainRandomization策略。通過(guò)對(duì)多維度的隨機(jī)化處理，模型得以在訓(xùn)練階段見(jiàn)識(shí)到充分多樣化的樣本，從而在實(shí)際部署中展現(xiàn)出更強(qiáng)的魯棒性。下面將從五個(gè)關(guān)鍵維度依次說(shuō)明我們所采用的隨機(jī)化手段。
場(chǎng)景雜亂(SceneClutter)
隨機(jī)在工作區(qū)中加入與任務(wù)無(wú)關(guān)的干擾物體，利用已構(gòu)建的RoboTwin-OD對(duì)象庫(kù)進(jìn)行碰撞感知的放置。通過(guò)預(yù)先計(jì)算碰撞體積并在同類(lèi)別或功能相似的對(duì)象之間做語(yǔ)義分組，避免放置過(guò)于相似的干擾物，從而既增強(qiáng)多樣性又降低潛在的策略混淆。
多樣化背景紋理(BackgroundTextures)
構(gòu)建包含12000種高質(zhì)量紋理的背景庫(kù)：先用大模型自動(dòng)生成1000條關(guān)于真實(shí)表面外觀的Prompt，再利用StableDiffusionv2為每條Prompt合成20張候選紋理，經(jīng)過(guò)人工過(guò)濾后保留最具代表性的樣本，用以隨機(jī)化桌面及周?chē)尘啊?/p>
光照變化(LightingVariation)
在物理合理范圍內(nèi)，隨機(jī)化光源類(lèi)型（點(diǎn)光源、面光源）、數(shù)量、顏色溫度、強(qiáng)度及位置，以模擬真實(shí)世界中多樣的燈光條件，增強(qiáng)策略對(duì)陰影、反射和色彩偏移的魯棒性。
桌面高度(TabletopHeights)
將桌面高度在合理范圍內(nèi)均勻采樣，改變相機(jī)視角和機(jī)械臂–物體間的空間關(guān)系，使策略適應(yīng)不同工作臺(tái)面高度帶來(lái)的感知與運(yùn)動(dòng)學(xué)差異。
多樣化語(yǔ)言指令(LanguageInstructions)
基于多模態(tài)大語(yǔ)言模型，自動(dòng)生成任務(wù)指令模板和對(duì)象描述，再結(jié)合隨機(jī)采樣的對(duì)象屬性進(jìn)行組合，以在軌跡級(jí)別引入豐富的語(yǔ)言變化，提升模型對(duì)未見(jiàn)指令的泛化能力。
5.RoboTwin2.050個(gè)任務(wù)的數(shù)據(jù)生成器以及評(píng)測(cè)基準(zhǔn)集
基于以上幾個(gè)方法，我們構(gòu)建了支持5款本體、50個(gè)雙臂任務(wù)的數(shù)據(jù)生成器以及評(píng)測(cè)基準(zhǔn)集。
實(shí)驗(yàn)結(jié)果
1.閉環(huán)專(zhuān)家代碼生成性能提升
與RoboTwin1.0相比，在10項(xiàng)典型操作任務(wù)上不加入任何技巧，RoboTwin2.0的平均成功率（ASR）與Top5-ASR均從47.4%提升至62.1%；加入結(jié)構(gòu)化執(zhí)行反饋后，ASR進(jìn)一步提升至66.7%，結(jié)合多模態(tài)反饋時(shí)達(dá)到71.3%，迭代次數(shù)從2.46次降低至1.76次，LLMtoken消耗也顯著降低。
2.自適應(yīng)抓取增強(qiáng)效果明顯
在五種雙臂機(jī)器人平臺(tái)上自動(dòng)采集50個(gè)任務(wù)的數(shù)據(jù)，對(duì)比RoboTwin1.0的合成方案，RoboTwin2.0平均成功率提升8.3%；其中低DoF平臺(tái)增益更大：六自由度的Aloha-AgileX平臺(tái)提升13.7%，Piper平臺(tái)提升22.7%，ARX-X5平臺(tái)提升5.6%。
3.域隨機(jī)化對(duì)策略魯棒性的貢獻(xiàn)
在基于VLA框架的消融試驗(yàn)中，將預(yù)訓(xùn)練模型RDT、Pi0用于32項(xiàng)任務(wù)每任務(wù)300條數(shù)據(jù)（共9600條數(shù)據(jù)）的大規(guī)模域隨機(jī)化數(shù)據(jù)中微調(diào)，然后在未見(jiàn)任務(wù)中使用少量無(wú)域隨機(jī)化數(shù)據(jù)微調(diào)后進(jìn)行評(píng)測(cè)。RoboTwin2.0（R2.0，含域隨機(jī)化數(shù)據(jù)）相比起未經(jīng)過(guò)大規(guī)模域隨機(jī)化數(shù)據(jù)微調(diào)的原策略，在新任務(wù)上為RDT帶來(lái)絕對(duì)增益10.6%（相對(duì)提升71.6%），為Pi0帶來(lái)絕對(duì)增益8.8%（相對(duì)提升41.9%），且均在僅用干凈數(shù)據(jù)微調(diào)的情況下仍保持強(qiáng)泛化能力。
4.真實(shí)世界零／少樣本遷移效果
在四類(lèi)真實(shí)雙臂任務(wù)（BowlsStack、BlockHandover、BottlePick、BellClick）的對(duì)照實(shí)驗(yàn)中，基于10條真實(shí)示例訓(xùn)練的基線(xiàn)模型，引入1000條RoboTwin2.0合成軌跡后，四種測(cè)試配置的成功率分別平均提升13.5%、27.5%、23.5%和33.0%；而在純合成（zero-shot）設(shè)置下，即使完全不依賴(lài)真實(shí)數(shù)據(jù)，也能在未見(jiàn)背景場(chǎng)景中取得21.0%和20.5%的成功率提升。
以上結(jié)果充分展示了RoboTwin2.0在代碼生成、抓取拓展、環(huán)境魯棒性以及sim2real遷移等多維度的綜合優(yōu)勢(shì)，為后續(xù)大規(guī)模、場(chǎng)景豐富的雙臂操作研究提供了堅(jiān)實(shí)的數(shù)據(jù)與基準(zhǔn)支撐。
開(kāi)源
我們開(kāi)源了50個(gè)任務(wù)的RoboTwin2.0代碼，預(yù)采集100,000+條多本體域隨機(jī)化操作數(shù)據(jù)，以及完整的RoboTwin-OD大規(guī)模豐富語(yǔ)義數(shù)字資產(chǎn)庫(kù)，以及用戶(hù)友好的使用文檔。
RoboTwinCVPRChallengeTechnicalReport
參賽64支隊(duì)伍，總?cè)舜纬?00人。決勝出來(lái)自清華-地平線(xiàn)團(tuán)隊(duì)的真機(jī)賽冠軍，以及來(lái)自京東科技集團(tuán)的仿真賽冠軍。并由優(yōu)勝團(tuán)隊(duì)共同合著TechnicalReport。Report中分享了各隊(duì)伍取得優(yōu)異成績(jī)的關(guān)鍵算法，包括SEM以及AnchorDP3等，并挖掘了數(shù)據(jù)質(zhì)量、數(shù)據(jù)預(yù)處理、語(yǔ)言魯棒性、多模態(tài)融合以及模型架構(gòu)等關(guān)于雙臂操作的見(jiàn)解。
小說(shuō):國(guó)民導(dǎo)演跨越性別,男神變女神驚人反轉(zhuǎn)!
1、《國(guó)民導(dǎo)演是男神》作者：孤木雙【入坑指南】耳邊隱隱約約的爭(zhēng)執(zhí)聲，讓君瓷心煩_。睡夢(mèng)中她都能感覺(jué)到自己緊皺的眉頭。誰(shuí)那么大的膽子，敢來(lái)吵皇太子？“閉嘴，吵死了，滾出去！”君瓷厲喝一聲，本該是氣勢(shì)無(wú)比的一句，卻嘶啞細(xì)弱的仿佛蚊子聲-。君瓷頓時(shí)意識(shí)到了不對(duì)|。身為一個(gè)各方面都優(yōu)異的皇太子，她的有幫助請(qǐng)點(diǎn)贊。
重生女扮男裝成國(guó)民導(dǎo)演,男神變女神驚艷粉絲
小說(shuō)：國(guó)民導(dǎo)演不是男神？他是女扮男裝的蘇爽小說(shuō)！今日推薦：《國(guó)民導(dǎo)演是男神》作者：孤木雙。點(diǎn)擊文末超鏈接開(kāi)始觀看吧～889克萊爾的態(tài)度艾琳有些吃驚，記者的本能讓她想追尋上去一探真相，然而每日傳媒并不是八卦雜志，她也不是狗仔隊(duì)那樣的記者。猶豫之下，艾琳還是有些可惜的上車(chē)，開(kāi)去公司了。 “殿下，..
五本娛樂(lè)圈甜文:小導(dǎo)演遇上國(guó)民男神“嫁我,之前的債一筆勾銷(xiāo)”
而近日，quot;胡歌肖戰(zhàn)或?qū)⒑献鳉v史正劇《風(fēng)禾盡起張居正》quot;的傳聞，如一顆投入湖面的石子，激起千層浪，再次印證了他"國(guó)民男神"的號(hào)召力。從逍遙哥哥到寶總：20年演技封神路2005年，《仙劍奇?zhèn)b傳》中的李逍遙讓23歲的胡歌一夜成名。白衣勝雪，仗劍江湖的形象成為一代人的青春記憶。但他并未沉溺于偶像光環(huán)，2006年到此結(jié)束了？。
延伸閱讀：與 大眾點(diǎn)評(píng)回應(yīng)刷好評(píng)事件： (嚴(yán)厲打擊)云探，店 加強(qiáng)審核機(jī)制 的相關(guān)文章
為什么《三角洲行動(dòng)》單人三排要比單排模式更容易活下去？
受賄8191萬(wàn)余元 杜梓一審獲刑15年
耗時(shí)半年，我終于完成這個(gè)挑戰(zhàn)
《驟影·緋月殺》全新PV-天災(zāi)驟起緋月高懸|天命玄鳥(niǎo)游戲工作室
汪蘇瀧和粉絲互換玩偶
密云水庫(kù)泄流現(xiàn)場(chǎng)大量魚(yú)被沖出
楊洋居然還留著那個(gè)大綠瓶
少林寺住持釋永信涉嫌刑事犯罪，與多名女性保持不正當(dāng)關(guān)系并育有私生子正接受調(diào)查，哪些信息值得關(guān)注？
多所高校宣布延長(zhǎng)研究生學(xué)制，有必要嗎？未來(lái)會(huì)成為普遍趨勢(shì)嗎？
每一幀都在博弈2
