智東西作者王涵編輯漠影
智東西7月25日消息,7月23日,Meta現(xiàn)實實驗室(RealityLabs)在Nature上發(fā)表最新論文《Agenericnon-invasiveneuromotorinterfaceforhuman-computerinteraction》(用于人機交互的通用非侵入式神經(jīng)運動接口)。
這項創(chuàng)新主要推出了基于表面肌電圖(sEMG)的通用型非侵入性神經(jīng)運動接口。該接口以腕帶形式呈現(xiàn),無需通過侵入性手術(shù),就能夠精準捕捉手腕部位的神經(jīng)信號,識別包括點擊、滑動和捏合在內(nèi)的多種手勢意圖,甚至在手部自然下垂的狀態(tài)下也能實現(xiàn)隱蔽操作。
與傳統(tǒng)的鍵盤、鼠標、觸摸屏等輸入設(shè)備不同,它擺脫了對中間設(shè)備的依賴。并且,相較于基于攝像頭或慣性傳感器的手勢系統(tǒng),它不受動作遮擋的影響。而與侵入性的腦機接口相比,它也無需定制解碼器,且能在不同人群中實現(xiàn)通用化應(yīng)用。
基于300多名受試者提供的超過100小時肌電數(shù)據(jù),研究團隊還開發(fā)出具有高度適應(yīng)性的機器學(xué)習(xí)模型。該模型最顯著的特點是無需個人校準即可實現(xiàn)高精度手勢識別,而僅需少量個性化數(shù)據(jù)就能將筆跡識別準確率提升16%。
Meta在2023年通過OrionAR眼鏡原型完成該成果的早期技術(shù)驗證。
一、高靈敏度腕帶+通用解碼模型
為實現(xiàn)這一突破,研究團隊從硬件和模型兩方面著手。?
硬件方面:該團隊研發(fā)了一款高靈敏度、易佩戴的sEMG腕帶(sEMG-RD)。
該腕帶采用干電極、多通道記錄設(shè)計,采樣率達2kHz,噪音低至2.46μVrms,續(xù)航超過4小時,且有四種尺寸以適應(yīng)不同腕圍。其電極布局經(jīng)過優(yōu)化,能精準捕捉手腕、手部和前臂肌肉的電信號,甚至可檢測到單個運動單位動作電位(MUAPs)。
在研發(fā)過程中,團隊經(jīng)過多次材料測試與結(jié)構(gòu)優(yōu)化,才確定了?最終的腕帶設(shè)計,以確保其佩戴舒適性與信號采集穩(wěn)定性的平衡。?
數(shù)據(jù)收集與模型訓(xùn)練方面:該團隊構(gòu)建了可擴展的數(shù)據(jù)收集基礎(chǔ)設(shè)施,從數(shù)千參與者獲取訓(xùn)練數(shù)據(jù)。
基于這些數(shù)據(jù),團隊開發(fā)出通用的sEMG解碼模型。模型采用了多種深度學(xué)習(xí)架構(gòu),如用于手腕任務(wù)的長短期記憶(LSTM)層、用于離散手勢任務(wù)的1D卷積層加LSTM層,以及用于手寫任務(wù)的Conformer架構(gòu)等,以適應(yīng)不同交互場景的需求。
在模型訓(xùn)練階段,研究人員還運用了遷移學(xué)習(xí)等先進技術(shù),加速模型收斂,并通過不斷調(diào)整超參數(shù),提升模型的泛化能力與準確性。?
二、0.88次/秒手勢識別,手寫輸入達20.9字/分鐘
在連續(xù)導(dǎo)航任務(wù)中,sEMG的閉環(huán)手勢解碼中位數(shù)性能為0.66次/秒;這意味著用戶在進行連續(xù)的手勢操作以控制光標等對象在屏幕上導(dǎo)航時,平均每秒能夠?qū)崿F(xiàn)0.66次精準的目標獲取,大大提升了操作效率。
在離散手勢任務(wù)中,其手勢檢測速率達0.88次/秒,即用戶做出如握拳、伸指等離散的特定手勢時,系統(tǒng)能夠以每秒0.88次的速度快速識別并做出響應(yīng)。
?戴sEMG腕帶的測試者,手寫輸入速度可達20.9字/分鐘,且通過個性化調(diào)整sEMG解碼模型,手寫模型的解碼性能可進一步提升16%。?
值得一提的是,這些模型在無需針對個人進行訓(xùn)練或校準的情況下,就能在不同人群中表現(xiàn)良好。其在離線評估中,對未參與訓(xùn)練的參與者,手寫和手勢檢測的分類準確率超過90%,手腕角度速度解碼誤差小于13°s?1。
研究團隊在不同年齡、性別、身體狀況的志愿者群體中進行了廣泛測試,均得到了上述穩(wěn)定且優(yōu)異的結(jié)果,驗證了該神經(jīng)運動接口的通用性與可靠性。?
三、未來應(yīng)用:潛力廣泛,前景可觀?
這一技術(shù)在多個領(lǐng)域都有著廣闊的應(yīng)用前景。?
日常交互:可應(yīng)用于智能手機、智能手表、智能眼鏡等移動設(shè)備,實現(xiàn)無縫輸入,尤其適合在移動場景中使用,解決傳統(tǒng)輸入方式在該場景下的局限性。
比如,用戶在行走、乘車時,無需再依賴屏幕觸摸或鍵盤輸入,僅通過簡單的手部肌肉活動,就能完成文字輸入、指令下達等操作,讓信息交互更加便捷高效。?
輔助技術(shù):為行動不便者提供新的交互方式,例如那些因肌肉無力或肢體缺失而難以使用傳統(tǒng)設(shè)備的人群,通過細微的肌肉活動就能實現(xiàn)與計算機的交互。
對于肢體殘疾人士,他們可以借助該接口,以自身獨特的肌肉運動模式控制輪椅、假肢等輔助設(shè)備,獲得更高的生活自主性。?
醫(yī)療康復(fù):可用于臨床診斷和康復(fù)治療,如監(jiān)測患者的肌肉活動情況,輔助制定個性化康復(fù)方案,或作為閉環(huán)神經(jīng)康復(fù)范式的一部分。
醫(yī)生能夠通過分析患者使用該接口時的肌肉電信號數(shù)據(jù),更精準地了解患者的肌肉恢復(fù)狀態(tài),及時調(diào)整康復(fù)訓(xùn)練計劃,提高康復(fù)效果。?
新型控制方式探索:有望實現(xiàn)對意圖手勢力量的直接檢測,開發(fā)多自由度聯(lián)合控制,以及低做功的控制方式,甚至可能催生出基于神經(jīng)運動信號空間的全新交互形式。
例如,在工業(yè)控制領(lǐng)域,工人可以通過佩戴該接口,以更自然的方式遠程操控復(fù)雜設(shè)備,減少操作失誤,提高生產(chǎn)效率。?
此外,該技術(shù)還為腦機接口等相關(guān)領(lǐng)域提供了借鑒,其大規(guī)模數(shù)據(jù)收集和模型訓(xùn)練方法可能為解決其他接口的校準問題提供方向。
結(jié)語:下一代人機交互范式或?qū)⒈恢匦露x
Meta在2023年通過OrionAR眼鏡原型完成了技術(shù)的前期驗證,2025年核心研究成果正式被頂級學(xué)術(shù)期刊Nature收錄發(fā)表。
這項技術(shù)有望從專業(yè)AR設(shè)備逐步拓展成為通用電子設(shè)備的交互標準,最終實現(xiàn)“讓計算機理解人類手勢”的技術(shù)愿景。
這種以人為中心的交互理念,或?qū)⒅匦露x下一代人機交互范式。
“掛號不收費,貧者贈方藥”!首屆國醫(yī)大師張燦玾的傳奇醫(yī)路
施今墨老先生的嫡傳弟子李輔仁,首屆國醫(yī)大師,特別擅治老年病
國醫(yī)大師陸廣莘,現(xiàn)代中醫(yī)理論重要奠基人,人稱“中醫(yī)哲學(xué)家”
免責(zé)聲明:本文內(nèi)容由開放的智能模型自動生成,僅供參考。