影音先锋橹撸资源_人妻少妇孑伦无码视频_日本女人牲交视频免费看_国产香蕉视频上线免费_波多野结超清无码中文影片_婷婷色丁香五月激情综合在线观看_寡妇高潮流白浆A片_国产精品九色 Av_花房姑娘电影未删减版免费观看_国产亚洲综合一区三区在线播放

本文一作：陳天行，TianxingChen.github.io，2025級香港大學(xué)MMLab博士生，師從羅平教授。在學(xué)術(shù)頂會以一作/共一發(fā)表多篇論文，獲得ECCV協(xié)同具身智能研討會BestPaper，CVPRHighlight等。獲得CCF優(yōu)秀大學(xué)生等多項榮譽以及20余項國家級競賽獎項。擔(dān)任CVPR2025RoboTwin雙臂協(xié)作競賽組織者。發(fā)起《具身智能技術(shù)指南》項目，已破6kGithubStars。Lumina具身智能社區(qū)聯(lián)合創(chuàng)始人。

最近，上海交通大學(xué)ScaleLab與香港大學(xué)MMLab@HKU領(lǐng)銜發(fā)布RoboTwin系列新作RoboTwin2.0以及基于RoboTwin仿真平臺在CVPR上舉辦的雙臂協(xié)作競賽TechnicalReport。RoboTwin2.0開源了大規(guī)模域隨機化雙臂操作數(shù)據(jù)合成器與50個操作任務(wù)的評測基準(zhǔn)集，TechnicalReport中分享了RoboTwin賽事的優(yōu)勝方案以及總結(jié)見解。

兩篇論文的第一作者為香港大學(xué)MMLab@HKU在讀博士生陳天行，通訊作者為上海交大ScaleLab助理教授穆堯以及香港大學(xué)副教授羅平。共同第一作者包括陳攢鑫、陳柏均、蔡子健、劉藝彬等。

RoboTwin2.0介紹視頻如下：

RoboTwin系列工作曾中稿CVPR2025Highlight、ECCV2024MAASWorkshopBestPaper，并作為第十九屆“挑戰(zhàn)杯人工智能+挑戰(zhàn)賽”官方賽題、RoboTwin雙臂協(xié)作競賽賽題@CVPR2025MEISWorkshop、張江人形機器人創(chuàng)新創(chuàng)業(yè)大賽賽題，Github上斬獲1.2kStars。

論文標(biāo)題：RoboTwin2.0:AScalableDataGeneratorandBenchmarkwithStrongDomainRandomizationforRobustBimanualRoboticManipulation

TechnicalReport標(biāo)題：BenchmarkingGeneralizableDual-ArmManipulation:RoboTwinDual-ArmCollaborationChallengeatCVPR2025MEISWorkshop

TechnicalReport鏈接：https://arxiv.org/abs/2506.23351

引言

雙臂機器人在協(xié)同裝配、工具使用和物體交接等復(fù)雜場景中具有重要作用，但要訓(xùn)練出通用的VLA等操作策略，現(xiàn)有數(shù)據(jù)收集和仿真管線面臨多重瓶頸。一方面，真實示教數(shù)據(jù)規(guī)模化獲取成本高、耗時長，難以覆蓋足夠多的任務(wù)、物體形態(tài)與硬件差異；另一方面，現(xiàn)有仿真缺乏針對新任務(wù)的高效、可擴展的專家數(shù)據(jù)生成方法；同時其域隨機化設(shè)計過于表層，無法模擬真實環(huán)境中復(fù)雜性；更未考慮不同雙臂平臺在運動學(xué)與抓取策略上的行為差異，導(dǎo)致數(shù)據(jù)合成方案難以在新環(huán)境或新硬件上泛化。

因此我們提出了RoboTwin2.0，提供基于多模態(tài)大模型與仿真在環(huán)的自動化專家代碼合成方案，開源了含731個，147類帶豐富標(biāo)注物體的RoboTwin物體數(shù)據(jù)集（RoboTwin-OD），并基于兩者構(gòu)建了支持5款本體與50個任務(wù)的大規(guī)模域隨機化仿真雙臂操作數(shù)據(jù)合成器與評測基準(zhǔn)集。實驗結(jié)果表明RoboTwin2.0的域隨機化數(shù)據(jù)可以極大地增強模型面對未見環(huán)境的魯棒性。我們開源了代碼、預(yù)采集的操作數(shù)據(jù)以及用戶友好的文檔。

方法

1.專家代碼生成

在專家代碼生成方面，RoboTwin2.0首先引入了一套比1.0更加精簡易用的API庫，顯著降低了大型多模態(tài)模型生成代碼的門檻；隨后在仿真閉環(huán)中，結(jié)合關(guān)鍵幀視覺觀測和實時環(huán)境反饋，以多模態(tài)大模型為核心不斷迭代優(yōu)化，持續(xù)提升任務(wù)專家代碼的準(zhǔn)確性與執(zhí)行效率。

2.RoboTwin-OD（RoboTwin物體數(shù)據(jù)集）

為了構(gòu)建更多樣的仿真操作數(shù)據(jù)，覆蓋更多的操作技能與交互物體，我們構(gòu)建了RoboTwin-OD（RoboTwinObjectDataset），包含147類、731個實例，其中534個實例由我們基于AIGC生成并經(jīng)凸分解優(yōu)化，其余來自O(shè)bjaverse與SAPIENPartNet-Mobility。針對每個物體，我們精細標(biāo)注了多種操作點、操作方向，以及物體級別和操作級別的語義信息，為大模型提供了全面而清晰的語義理解支持。RoboTwin-OD不僅奠定了大規(guī)模仿真操作任務(wù)設(shè)計的基礎(chǔ)，也為復(fù)雜雜亂場景的布置提供了堅實支撐。

3.面向本體的自適應(yīng)抓取

由于自由度和運動結(jié)構(gòu)的差異，不同機械臂在同一任務(wù)中的可達空間和操作偏好各異。為此，RoboTwin2.0針對每個物體構(gòu)建了涵蓋多種抓取軸與接近方向的操作候選集。具體做法是：結(jié)合機械臂的優(yōu)選接近方向、隨機姿態(tài)擾動與并行運動規(guī)劃，生成豐富的抓取候選；并在可達性更高的方向上施加角度擾動，以進一步擴展可行姿態(tài)空間?；谶@種方法，RoboTwin2.0支持5種本體的操作數(shù)據(jù)合成與評測。

4.域隨機化

為了讓RoboTwin2.0在各種復(fù)雜且多變的真實場景下都能保持卓越的操作性能，我們在數(shù)據(jù)生成環(huán)節(jié)引入了一套系統(tǒng)化的DomainRandomization策略。通過對多維度的隨機化處理，模型得以在訓(xùn)練階段見識到充分多樣化的樣本，從而在實際部署中展現(xiàn)出更強的魯棒性。下面將從五個關(guān)鍵維度依次說明我們所采用的隨機化手段。

場景雜亂(SceneClutter)

隨機在工作區(qū)中加入與任務(wù)無關(guān)的干擾物體，利用已構(gòu)建的RoboTwin-OD對象庫進行碰撞感知的放置。通過預(yù)先計算碰撞體積并在同類別或功能相似的對象之間做語義分組，避免放置過于相似的干擾物，從而既增強多樣性又降低潛在的策略混淆。

多樣化背景紋理(BackgroundTextures)

構(gòu)建包含12000種高質(zhì)量紋理的背景庫：先用大模型自動生成1000條關(guān)于真實表面外觀的Prompt，再利用StableDiffusionv2為每條Prompt合成20張候選紋理，經(jīng)過人工過濾后保留最具代表性的樣本，用以隨機化桌面及周圍背景。

光照變化(LightingVariation)

在物理合理范圍內(nèi)，隨機化光源類型（點光源、面光源）、數(shù)量、顏色溫度、強度及位置，以模擬真實世界中多樣的燈光條件，增強策略對陰影、反射和色彩偏移的魯棒性。

桌面高度(TabletopHeights)

將桌面高度在合理范圍內(nèi)均勻采樣，改變相機視角和機械臂–物體間的空間關(guān)系，使策略適應(yīng)不同工作臺面高度帶來的感知與運動學(xué)差異。

多樣化語言指令(LanguageInstructions)

基于多模態(tài)大語言模型，自動生成任務(wù)指令模板和對象描述，再結(jié)合隨機采樣的對象屬性進行組合，以在軌跡級別引入豐富的語言變化，提升模型對未見指令的泛化能力。

5.RoboTwin2.050個任務(wù)的數(shù)據(jù)生成器以及評測基準(zhǔn)集

基于以上幾個方法，我們構(gòu)建了支持5款本體、50個雙臂任務(wù)的數(shù)據(jù)生成器以及評測基準(zhǔn)集。

實驗結(jié)果

1.閉環(huán)專家代碼生成性能提升

與RoboTwin1.0相比，在10項典型操作任務(wù)上不加入任何技巧，RoboTwin2.0的平均成功率（ASR）與Top5-ASR均從47.4%提升至62.1%；加入結(jié)構(gòu)化執(zhí)行反饋后，ASR進一步提升至66.7%，結(jié)合多模態(tài)反饋時達到71.3%，迭代次數(shù)從2.46次降低至1.76次，LLMtoken消耗也顯著降低。

2.自適應(yīng)抓取增強效果明顯

在五種雙臂機器人平臺上自動采集50個任務(wù)的數(shù)據(jù)，對比RoboTwin1.0的合成方案，RoboTwin2.0平均成功率提升8.3%；其中低DoF平臺增益更大：六自由度的Aloha-AgileX平臺提升13.7%，Piper平臺提升22.7%，ARX-X5平臺提升5.6%。

3.域隨機化對策略魯棒性的貢獻

在基于VLA框架的消融試驗中，將預(yù)訓(xùn)練模型RDT、Pi0用于32項任務(wù)每任務(wù)300條數(shù)據(jù)（共9600條數(shù)據(jù)）的大規(guī)模域隨機化數(shù)據(jù)中微調(diào)，然后在未見任務(wù)中使用少量無域隨機化數(shù)據(jù)微調(diào)后進行評測。RoboTwin2.0（R2.0，含域隨機化數(shù)據(jù)）相比起未經(jīng)過大規(guī)模域隨機化數(shù)據(jù)微調(diào)的原策略，在新任務(wù)上為RDT帶來絕對增益10.6%（相對提升71.6%），為Pi0帶來絕對增益8.8%（相對提升41.9%），且均在僅用干凈數(shù)據(jù)微調(diào)的情況下仍保持強泛化能力。

4.真實世界零／少樣本遷移效果

在四類真實雙臂任務(wù)（BowlsStack、BlockHandover、BottlePick、BellClick）的對照實驗中，基于10條真實示例訓(xùn)練的基線模型，引入1000條RoboTwin2.0合成軌跡后，四種測試配置的成功率分別平均提升13.5%、27.5%、23.5%和33.0%；而在純合成（zero-shot）設(shè)置下，即使完全不依賴真實數(shù)據(jù)，也能在未見背景場景中取得21.0%和20.5%的成功率提升。

以上結(jié)果充分展示了RoboTwin2.0在代碼生成、抓取拓展、環(huán)境魯棒性以及sim2real遷移等多維度的綜合優(yōu)勢，為后續(xù)大規(guī)模、場景豐富的雙臂操作研究提供了堅實的數(shù)據(jù)與基準(zhǔn)支撐。

開源

我們開源了50個任務(wù)的RoboTwin2.0代碼，預(yù)采集100,000+條多本體域隨機化操作數(shù)據(jù)，以及完整的RoboTwin-OD大規(guī)模豐富語義數(shù)字資產(chǎn)庫，以及用戶友好的使用文檔。

RoboTwinCVPRChallengeTechnicalReport

參賽64支隊伍，總?cè)舜纬?00人。決勝出來自清華-地平線團隊的真機賽冠軍，以及來自京東科技集團的仿真賽冠軍。并由優(yōu)勝團隊共同合著TechnicalReport。Report中分享了各隊伍取得優(yōu)異成績的關(guān)鍵算法，包括SEM以及AnchorDP3等，并挖掘了數(shù)據(jù)質(zhì)量、數(shù)據(jù)預(yù)處理、語言魯棒性、多模態(tài)融合以及模型架構(gòu)等關(guān)于雙臂操作的見解。

私藏讀物《雷武》,手握日月摘星辰,世間無我這般人!

紫宸就站在雷電少年的對面，眼睛一眨不眨的盯著對方。隨著周身雷電光芒涌動，雷電少年忽然動了，猶如行云流水，腳下步法連連閃爍，虛幻縹緲，使人無法捉摸下一步出現(xiàn)在哪里。三流步法，流云步-——。以前紫宸也會，一法一式早已記清楚，但此刻看到雷電少年使用出來，才知道雙方的差距——-。他已經(jīng)見過很多次了，但每一次都捉摸不是什么-。
《雷武》作者：中下馬篤第一章兄弟冷風(fēng)如刀，以大地為砧板，視眾生為魚肉；萬里飛雪，以天地為烘爐，煉天地為白銀。雪將住，風(fēng)未定。幽深山谷中，白雪皚皚，兩少年踏雪而行-。他們年歲不大，約莫十六七，周身已布滿白雪。深谷里凹凸不平，地面又有厚厚的積雪，行走十分不便--。但兩個少年，卻健步如飛，身形靈活等我繼續(xù)說。

經(jīng)典之作《雷武》,手握日月摘星辰,世間無我這般人!

經(jīng)典之作《雷武》，手握日月摘星辰，世間無我這般人！第二章天地背影“朋友是在有利益的時候，拿來出賣的！”紫宸生機消散前，記住了這句話。趙燦把紫宸踢進山澗，鮮血順著心口涌出，生機逐漸消散||。傳說人死之后，靈魂不會立刻消失，會在身體四周徘徊，如果怨念太深，靈魂有可能就會化為另外一種形態(tài)|。如幽靈、..
黑馬神作《雷武》，令人眼前一亮的篇章，追文動力出現(xiàn)了！第七章雷電少年紫宸栽倒在地，已經(jīng)到了生命的極限，僅僅憑借著強大的意志，才沒有讓自己昏死過去?！拔耍　笔а^多，已經(jīng)頻臨死亡，心臟似乎也要停止跳動，忽然，紫宸的心臟猛然一跳，傳來顫動聲，一股濃郁的銀色能量，從心臟中出現(xiàn)，向著四肢百骸沖去希望你能滿意。

超越《雷武》,碾壓《劍帝》,100萬字就封神,評分9.7!

《雷武》作者：中下馬篤 評分：9.3 【小說簡介】：少年紫宸用一命認清兄弟，機緣遇雷元復(fù)生，得煉體法訣，踏上強者之路_-。雷電淬圣體，造化鑄天途！以堅韌之心，踏雷武巔峰！【精彩片段】：這個蠻人竟然是一個外來者，還是能夠變換體貌的外來者。一眾蠻人在震驚之時，臉上更是有了懼意，開始小心退后。此刻說完了。
《雷武》作者：中下馬篤《雷武》是新生代作者中下馬篤的一部玄幻小說，因為是新生代的作者，所以這篇小說的開頭較為的一般，也沒什么太大的紕漏，逐漸到中期的時候，作品漸入佳境——|。是一部比較輕松耐看的一本小說，如果有喜歡這類小說的朋友可以去看一下喲！《逆天邪神》作者：火星引力《逆天邪神》這本書對于有幫助請點贊_-。