精準(zhǔn)操控、柔性互動(dòng)、手部操作是智能體理解并改造世界的關(guān)鍵能力。然而，機(jī)器人在真實(shí)環(huán)境中復(fù)現(xiàn)人類操作仍面臨巨大挑戰(zhàn)。聚焦這一難題，由上海機(jī)器人產(chǎn)業(yè)技術(shù)研究院聯(lián)合復(fù)旦大學(xué)、上海交通大學(xué)、同濟(jì)大學(xué)共同研發(fā)的“靈巧手操作任務(wù)標(biāo)準(zhǔn)化數(shù)據(jù)集”于近日正式發(fā)布，旨在為機(jī)器人手部精細(xì)操作能力突破提供堅(jiān)實(shí)支撐。
上海機(jī)器人產(chǎn)業(yè)技術(shù)研究院
作為國家機(jī)器人檢測(cè)與評(píng)定中心總部，當(dāng)前全國超一半的機(jī)器人正在從位于普陀區(qū)武寧路上的上海機(jī)器人產(chǎn)業(yè)技術(shù)研究院“畢業(yè)”上崗?！拔覀儗⒆陨碓跈z測(cè)與評(píng)定中的經(jīng)驗(yàn)遷移到了此次數(shù)據(jù)集的研發(fā)上，形成算法工具，打造了一個(gè)對(duì)外服務(wù)的標(biāo)準(zhǔn)化數(shù)據(jù)平臺(tái)。”研究院智能創(chuàng)新技術(shù)研發(fā)中心主任熊學(xué)勝道出了數(shù)據(jù)集研發(fā)背后的核心。
數(shù)據(jù)集任務(wù)示意
此次“靈巧手操作任務(wù)標(biāo)準(zhǔn)化數(shù)據(jù)集”涵蓋了廚房、書房、實(shí)驗(yàn)室、浴室4大典型交互場景，包含75類物體，共構(gòu)建627條任務(wù)序列、超過400萬幀圖像，其中264條為復(fù)雜任務(wù)，可解析為1376個(gè)基元任務(wù)。通過融合多視角視覺、動(dòng)捕系統(tǒng)和手部姿態(tài)信息，形成時(shí)空對(duì)齊的多模態(tài)數(shù)據(jù)庫，能夠?yàn)闄C(jī)器人多視角感知與動(dòng)作建模提供豐富支持。
研發(fā)團(tuán)隊(duì)還創(chuàng)新性提出的mf-mdm（動(dòng)作-物體）雙階段架構(gòu)，借助軌跡transformer和擴(kuò)散模型實(shí)現(xiàn)動(dòng)作-物體軌跡耦合，形成靈巧手動(dòng)作生成模型，輸出標(biāo)準(zhǔn)化、長時(shí)序、多步驟操作單元，助力機(jī)器人拆分子任務(wù)、預(yù)測(cè)物體運(yùn)動(dòng)與學(xué)習(xí)本體操作。
標(biāo)準(zhǔn)化數(shù)據(jù)集全面對(duì)標(biāo)即將發(fā)布的4項(xiàng)數(shù)據(jù)集行業(yè)標(biāo)準(zhǔn)，在數(shù)據(jù)采集、標(biāo)注、格式、治理等關(guān)鍵環(huán)節(jié)進(jìn)行了標(biāo)準(zhǔn)化治理，相關(guān)成果已發(fā)布高水平論文，不僅為機(jī)器人手部精細(xì)操作能力突破奠定基礎(chǔ)，更降低了技術(shù)產(chǎn)業(yè)化的門檻，讓科研成果從實(shí)驗(yàn)室更快走向產(chǎn)業(yè)應(yīng)用。研究院還將立足自身地理位置優(yōu)勢(shì)，深化沿滬寧產(chǎn)業(yè)創(chuàng)新帶協(xié)同作用，將標(biāo)準(zhǔn)、認(rèn)證體系轉(zhuǎn)化為產(chǎn)業(yè)協(xié)同的“通用語言”，串聯(lián)起更多上下游企業(yè)。
據(jù)悉，此次發(fā)布的靈巧手操作任務(wù)標(biāo)準(zhǔn)化數(shù)據(jù)集也將成為具身智能標(biāo)準(zhǔn)化數(shù)據(jù)集的重要組成部分，上海機(jī)器人產(chǎn)業(yè)技術(shù)研究院研發(fā)團(tuán)隊(duì)正計(jì)劃于下半年發(fā)布具身智能標(biāo)準(zhǔn)化數(shù)據(jù)集平臺(tái)。“具身智能作為機(jī)器人產(chǎn)業(yè)發(fā)展的前沿陣地，我們希望通過數(shù)據(jù)集平臺(tái)實(shí)現(xiàn)‘?dāng)?shù)據(jù)采集-模型訓(xùn)練-本體部署-功能驗(yàn)證’的閉環(huán)流程，覆蓋感知、決策、執(zhí)行等訓(xùn)練需求，為智能體在復(fù)雜環(huán)境中的綜合操作能力提升提供更全面的支撐?！毙軐W(xué)勝表示。
記者：錢佳瑩
沈悅
數(shù)學(xué)基因激活產(chǎn)業(yè)動(dòng)能，普陀主辦的這場重磅論壇即將揭幕
“暑”你精彩！普陀區(qū)愛心暑托班第一期結(jié)業(yè)
精準(zhǔn)匹配，普陀區(qū)這里“點(diǎn)燃”你的職業(yè)夢(mèng)想！
軌道交通20號(hào)線普陀段所涉征收地塊簽約均已達(dá)100%
滬港同心普陀優(yōu)才實(shí)習(xí)計(jì)劃2025圓滿收官
上觀號(hào)作者：上海普陀
小說:從農(nóng)業(yè)大國到工業(yè)巨頭,大清隱龍的崛起之路!
由講述近代軍用工業(yè)的起步和發(fā)展，又過渡到輪船招商局(1872)、開平礦務(wù)局(1878)、中國電報(bào)總局(1880)、漢陽鐵廠(1890)等重要新式民用工業(yè)和總理海軍事務(wù)衙門(1885)的創(chuàng)辦歷程，這部小說的“華蓋”于此完全打開-|?！洞笄逋醭访鑼懥搜髣?wù)派、頑固派以及外國勢(shì)力之間的沖撞抗衡，具體刻畫了洋務(wù)運(yùn)動(dòng)在中央的總推手奕和后面會(huì)介紹。
張鴻福《大清王朝1860》出版:最大的樂趣是看近代大人物吵嘴
小說：大清隱龍?zhí)亓ⅹ?dú)行，引領(lǐng)工業(yè)革命，踏上強(qiáng)國之路今日推薦：《大清：從工業(yè)革命開始強(qiáng)國》作者：心凈。點(diǎn)擊文末超鏈接開始觀看吧～2585弱國無外交！綜合國力騙不了人，你有多少鐵路、火車、鋼鐵廠、煤礦、機(jī)械加工廠……這都是實(shí)實(shí)在在的數(shù)據(jù)，更重要的是這些綜合國力最終極的體現(xiàn)那就是暴力團(tuán)體……軍隊(duì)！一等我繼續(xù)說。
大清征服木星,牛魔王綠帽賢者:原來所有網(wǎng)文鼻祖都是清末小說!
小說：全民狂歡，“大清隱龍”閃耀科技紅利中！今日推薦：《大清：從工業(yè)革命開始強(qiáng)國》作者：心凈||。點(diǎn)擊文末超鏈接開始觀看吧～---精選段落--- 1027會(huì)師定太平原來唐磊等人錯(cuò)誤的估計(jì)了智利的工業(yè)水平，銅礦石和銅錠根本就不是一個(gè)概念，中間隔著的是一個(gè)國家的工業(yè)實(shí)力|-。南美洲確實(shí)礦藏豐富，金銀銅鐵等有色金屬等會(huì)說。
延伸閱讀：與 領(lǐng)跑加速區(qū)進(jìn)擊深“水區(qū)勇”：探無人？區(qū) 的相關(guān)文章
《年輪》的原唱到底是誰？行業(yè)內(nèi)如何定義「原唱」歸屬權(quán)？
說了37次謝謝”的視頻
那些年買過的宿舍小零食！
九轉(zhuǎn)大腸創(chuàng)始人減重90斤爆改肌肉男
公安部：3億多人申領(lǐng)電子駕照
為什么煙葉可以嚇退螞蟥，辣椒可以嚇退哺乳動(dòng)物，茄科植物是有啥魔法嗎？
比航天賭橋還cs的陣容來了，快艾特你的兄弟來學(xué)！
金價(jià)大漲 有人預(yù)計(jì)變現(xiàn)470萬
中印友誼的開關(guān)，雅魯藏布江水利工程啟動(dòng)，三哥還敢不回家嗎？
K總形容旺仔小喬長相
