智東西作者王涵編輯漠影
智東西7月25日消息,7月23日,Meta現(xiàn)實(shí)實(shí)驗(yàn)室(RealityLabs)在Nature上發(fā)表最新論文《Agenericnon-invasiveneuromotorinterfaceforhuman-computerinteraction》(用于人機(jī)交互的通用非侵入式神經(jīng)運(yùn)動(dòng)接口)。
這項(xiàng)創(chuàng)新主要推出了基于表面肌電圖(sEMG)的通用型非侵入性神經(jīng)運(yùn)動(dòng)接口。該接口以腕帶形式呈現(xiàn),無(wú)需通過(guò)侵入性手術(shù),就能夠精準(zhǔn)捕捉手腕部位的神經(jīng)信號(hào),識(shí)別包括點(diǎn)擊、滑動(dòng)和捏合在內(nèi)的多種手勢(shì)意圖,甚至在手部自然下垂的狀態(tài)下也能實(shí)現(xiàn)隱蔽操作。
與傳統(tǒng)的鍵盤(pán)、鼠標(biāo)、觸摸屏等輸入設(shè)備不同,它擺脫了對(duì)中間設(shè)備的依賴。并且,相較于基于攝像頭或慣性傳感器的手勢(shì)系統(tǒng),它不受動(dòng)作遮擋的影響。而與侵入性的腦機(jī)接口相比,它也無(wú)需定制解碼器,且能在不同人群中實(shí)現(xiàn)通用化應(yīng)用。
基于300多名受試者提供的超過(guò)100小時(shí)肌電數(shù)據(jù),研究團(tuán)隊(duì)還開(kāi)發(fā)出具有高度適應(yīng)性的機(jī)器學(xué)習(xí)模型。該模型最顯著的特點(diǎn)是無(wú)需個(gè)人校準(zhǔn)即可實(shí)現(xiàn)高精度手勢(shì)識(shí)別,而僅需少量個(gè)性化數(shù)據(jù)就能將筆跡識(shí)別準(zhǔn)確率提升16%。
Meta在2023年通過(guò)OrionAR眼鏡原型完成該成果的早期技術(shù)驗(yàn)證。
一、高靈敏度腕帶+通用解碼模型
為實(shí)現(xiàn)這一突破,研究團(tuán)隊(duì)從硬件和模型兩方面著手。?
硬件方面:該團(tuán)隊(duì)研發(fā)了一款高靈敏度、易佩戴的sEMG腕帶(sEMG-RD)。
該腕帶采用干電極、多通道記錄設(shè)計(jì),采樣率達(dá)2kHz,噪音低至2.46μVrms,續(xù)航超過(guò)4小時(shí),且有四種尺寸以適應(yīng)不同腕圍。其電極布局經(jīng)過(guò)優(yōu)化,能精準(zhǔn)捕捉手腕、手部和前臂肌肉的電信號(hào),甚至可檢測(cè)到單個(gè)運(yùn)動(dòng)單位動(dòng)作電位(MUAPs)。
在研發(fā)過(guò)程中,團(tuán)隊(duì)經(jīng)過(guò)多次材料測(cè)試與結(jié)構(gòu)優(yōu)化,才確定了?最終的腕帶設(shè)計(jì),以確保其佩戴舒適性與信號(hào)采集穩(wěn)定性的平衡。?
數(shù)據(jù)收集與模型訓(xùn)練方面:該團(tuán)隊(duì)構(gòu)建了可擴(kuò)展的數(shù)據(jù)收集基礎(chǔ)設(shè)施,從數(shù)千參與者獲取訓(xùn)練數(shù)據(jù)。
基于這些數(shù)據(jù),團(tuán)隊(duì)開(kāi)發(fā)出通用的sEMG解碼模型。模型采用了多種深度學(xué)習(xí)架構(gòu),如用于手腕任務(wù)的長(zhǎng)短期記憶(LSTM)層、用于離散手勢(shì)任務(wù)的1D卷積層加LSTM層,以及用于手寫(xiě)任務(wù)的Conformer架構(gòu)等,以適應(yīng)不同交互場(chǎng)景的需求。
在模型訓(xùn)練階段,研究人員還運(yùn)用了遷移學(xué)習(xí)等先進(jìn)技術(shù),加速模型收斂,并通過(guò)不斷調(diào)整超參數(shù),提升模型的泛化能力與準(zhǔn)確性。?
二、0.88次/秒手勢(shì)識(shí)別,手寫(xiě)輸入達(dá)20.9字/分鐘
在連續(xù)導(dǎo)航任務(wù)中,sEMG的閉環(huán)手勢(shì)解碼中位數(shù)性能為0.66次/秒;這意味著用戶在進(jìn)行連續(xù)的手勢(shì)操作以控制光標(biāo)等對(duì)象在屏幕上導(dǎo)航時(shí),平均每秒能夠?qū)崿F(xiàn)0.66次精準(zhǔn)的目標(biāo)獲取,大大提升了操作效率。
在離散手勢(shì)任務(wù)中,其手勢(shì)檢測(cè)速率達(dá)0.88次/秒,即用戶做出如握拳、伸指等離散的特定手勢(shì)時(shí),系統(tǒng)能夠以每秒0.88次的速度快速識(shí)別并做出響應(yīng)。
?戴sEMG腕帶的測(cè)試者,手寫(xiě)輸入速度可達(dá)20.9字/分鐘,且通過(guò)個(gè)性化調(diào)整sEMG解碼模型,手寫(xiě)模型的解碼性能可進(jìn)一步提升16%。?
值得一提的是,這些模型在無(wú)需針對(duì)個(gè)人進(jìn)行訓(xùn)練或校準(zhǔn)的情況下,就能在不同人群中表現(xiàn)良好。其在離線評(píng)估中,對(duì)未參與訓(xùn)練的參與者,手寫(xiě)和手勢(shì)檢測(cè)的分類準(zhǔn)確率超過(guò)90%,手腕角度速度解碼誤差小于13°s?1。
研究團(tuán)隊(duì)在不同年齡、性別、身體狀況的志愿者群體中進(jìn)行了廣泛測(cè)試,均得到了上述穩(wěn)定且優(yōu)異的結(jié)果,驗(yàn)證了該神經(jīng)運(yùn)動(dòng)接口的通用性與可靠性。?
三、未來(lái)應(yīng)用:潛力廣泛,前景可觀?
這一技術(shù)在多個(gè)領(lǐng)域都有著廣闊的應(yīng)用前景。?
日常交互:可應(yīng)用于智能手機(jī)、智能手表、智能眼鏡等移動(dòng)設(shè)備,實(shí)現(xiàn)無(wú)縫輸入,尤其適合在移動(dòng)場(chǎng)景中使用,解決傳統(tǒng)輸入方式在該場(chǎng)景下的局限性。
比如,用戶在行走、乘車時(shí),無(wú)需再依賴屏幕觸摸或鍵盤(pán)輸入,僅通過(guò)簡(jiǎn)單的手部肌肉活動(dòng),就能完成文字輸入、指令下達(dá)等操作,讓信息交互更加便捷高效。?
輔助技術(shù):為行動(dòng)不便者提供新的交互方式,例如那些因肌肉無(wú)力或肢體缺失而難以使用傳統(tǒng)設(shè)備的人群,通過(guò)細(xì)微的肌肉活動(dòng)就能實(shí)現(xiàn)與計(jì)算機(jī)的交互。
對(duì)于肢體殘疾人士,他們可以借助該接口,以自身獨(dú)特的肌肉運(yùn)動(dòng)模式控制輪椅、假肢等輔助設(shè)備,獲得更高的生活自主性。?
醫(yī)療康復(fù):可用于臨床診斷和康復(fù)治療,如監(jiān)測(cè)患者的肌肉活動(dòng)情況,輔助制定個(gè)性化康復(fù)方案,或作為閉環(huán)神經(jīng)康復(fù)范式的一部分。
醫(yī)生能夠通過(guò)分析患者使用該接口時(shí)的肌肉電信號(hào)數(shù)據(jù),更精準(zhǔn)地了解患者的肌肉恢復(fù)狀態(tài),及時(shí)調(diào)整康復(fù)訓(xùn)練計(jì)劃,提高康復(fù)效果。?
新型控制方式探索:有望實(shí)現(xiàn)對(duì)意圖手勢(shì)力量的直接檢測(cè),開(kāi)發(fā)多自由度聯(lián)合控制,以及低做功的控制方式,甚至可能催生出基于神經(jīng)運(yùn)動(dòng)信號(hào)空間的全新交互形式。
例如,在工業(yè)控制領(lǐng)域,工人可以通過(guò)佩戴該接口,以更自然的方式遠(yuǎn)程操控復(fù)雜設(shè)備,減少操作失誤,提高生產(chǎn)效率。?
此外,該技術(shù)還為腦機(jī)接口等相關(guān)領(lǐng)域提供了借鑒,其大規(guī)模數(shù)據(jù)收集和模型訓(xùn)練方法可能為解決其他接口的校準(zhǔn)問(wèn)題提供方向。
結(jié)語(yǔ):下一代人機(jī)交互范式或?qū)⒈恢匦露x
Meta在2023年通過(guò)OrionAR眼鏡原型完成了技術(shù)的前期驗(yàn)證,2025年核心研究成果正式被頂級(jí)學(xué)術(shù)期刊Nature收錄發(fā)表。
這項(xiàng)技術(shù)有望從專業(yè)AR設(shè)備逐步拓展成為通用電子設(shè)備的交互標(biāo)準(zhǔn),最終實(shí)現(xiàn)“讓計(jì)算機(jī)理解人類手勢(shì)”的技術(shù)愿景。
這種以人為中心的交互理念,或?qū)⒅匦露x下一代人機(jī)交互范式。
鐵娘子卡拉斯:美麗與正義的化身
天猷副元帥真君:道教中的護(hù)法神祇,忠義與正義的化身!
七月革命中人道主義與寬容的力量
免責(zé)聲明:本文內(nèi)容由開(kāi)放的智能模型自動(dòng)生成,僅供參考。