智東西作者王涵編輯漠影
智東西7月25日消息,7月23日,Meta現(xiàn)實(shí)實(shí)驗(yàn)室(RealityLabs)在Nature上發(fā)表最新論文《Agenericnon-invasiveneuromotorinterfaceforhuman-computerinteraction》(用于人機(jī)交互的通用非侵入式神經(jīng)運(yùn)動接口)。
這項(xiàng)創(chuàng)新主要推出了基于表面肌電圖(sEMG)的通用型非侵入性神經(jīng)運(yùn)動接口。該接口以腕帶形式呈現(xiàn),無需通過侵入性手術(shù),就能夠精準(zhǔn)捕捉手腕部位的神經(jīng)信號,識別包括點(diǎn)擊、滑動和捏合在內(nèi)的多種手勢意圖,甚至在手部自然下垂的狀態(tài)下也能實(shí)現(xiàn)隱蔽操作。
與傳統(tǒng)的鍵盤、鼠標(biāo)、觸摸屏等輸入設(shè)備不同,它擺脫了對中間設(shè)備的依賴。并且,相較于基于攝像頭或慣性傳感器的手勢系統(tǒng),它不受動作遮擋的影響。而與侵入性的腦機(jī)接口相比,它也無需定制解碼器,且能在不同人群中實(shí)現(xiàn)通用化應(yīng)用。
基于300多名受試者提供的超過100小時肌電數(shù)據(jù),研究團(tuán)隊還開發(fā)出具有高度適應(yīng)性的機(jī)器學(xué)習(xí)模型。該模型最顯著的特點(diǎn)是無需個人校準(zhǔn)即可實(shí)現(xiàn)高精度手勢識別,而僅需少量個性化數(shù)據(jù)就能將筆跡識別準(zhǔn)確率提升16%。
Meta在2023年通過OrionAR眼鏡原型完成該成果的早期技術(shù)驗(yàn)證。
一、高靈敏度腕帶+通用解碼模型
為實(shí)現(xiàn)這一突破,研究團(tuán)隊從硬件和模型兩方面著手。?
硬件方面:該團(tuán)隊研發(fā)了一款高靈敏度、易佩戴的sEMG腕帶(sEMG-RD)。
該腕帶采用干電極、多通道記錄設(shè)計,采樣率達(dá)2kHz,噪音低至2.46μVrms,續(xù)航超過4小時,且有四種尺寸以適應(yīng)不同腕圍。其電極布局經(jīng)過優(yōu)化,能精準(zhǔn)捕捉手腕、手部和前臂肌肉的電信號,甚至可檢測到單個運(yùn)動單位動作電位(MUAPs)。
在研發(fā)過程中,團(tuán)隊經(jīng)過多次材料測試與結(jié)構(gòu)優(yōu)化,才確定了?最終的腕帶設(shè)計,以確保其佩戴舒適性與信號采集穩(wěn)定性的平衡。?
數(shù)據(jù)收集與模型訓(xùn)練方面:該團(tuán)隊構(gòu)建了可擴(kuò)展的數(shù)據(jù)收集基礎(chǔ)設(shè)施,從數(shù)千參與者獲取訓(xùn)練數(shù)據(jù)。
基于這些數(shù)據(jù),團(tuán)隊開發(fā)出通用的sEMG解碼模型。模型采用了多種深度學(xué)習(xí)架構(gòu),如用于手腕任務(wù)的長短期記憶(LSTM)層、用于離散手勢任務(wù)的1D卷積層加LSTM層,以及用于手寫任務(wù)的Conformer架構(gòu)等,以適應(yīng)不同交互場景的需求。
在模型訓(xùn)練階段,研究人員還運(yùn)用了遷移學(xué)習(xí)等先進(jìn)技術(shù),加速模型收斂,并通過不斷調(diào)整超參數(shù),提升模型的泛化能力與準(zhǔn)確性。?
二、0.88次/秒手勢識別,手寫輸入達(dá)20.9字/分鐘
在連續(xù)導(dǎo)航任務(wù)中,sEMG的閉環(huán)手勢解碼中位數(shù)性能為0.66次/秒;這意味著用戶在進(jìn)行連續(xù)的手勢操作以控制光標(biāo)等對象在屏幕上導(dǎo)航時,平均每秒能夠?qū)崿F(xiàn)0.66次精準(zhǔn)的目標(biāo)獲取,大大提升了操作效率。
在離散手勢任務(wù)中,其手勢檢測速率達(dá)0.88次/秒,即用戶做出如握拳、伸指等離散的特定手勢時,系統(tǒng)能夠以每秒0.88次的速度快速識別并做出響應(yīng)。
?戴sEMG腕帶的測試者,手寫輸入速度可達(dá)20.9字/分鐘,且通過個性化調(diào)整sEMG解碼模型,手寫模型的解碼性能可進(jìn)一步提升16%。?
值得一提的是,這些模型在無需針對個人進(jìn)行訓(xùn)練或校準(zhǔn)的情況下,就能在不同人群中表現(xiàn)良好。其在離線評估中,對未參與訓(xùn)練的參與者,手寫和手勢檢測的分類準(zhǔn)確率超過90%,手腕角度速度解碼誤差小于13°s?1。
研究團(tuán)隊在不同年齡、性別、身體狀況的志愿者群體中進(jìn)行了廣泛測試,均得到了上述穩(wěn)定且優(yōu)異的結(jié)果,驗(yàn)證了該神經(jīng)運(yùn)動接口的通用性與可靠性。?
三、未來應(yīng)用:潛力廣泛,前景可觀?
這一技術(shù)在多個領(lǐng)域都有著廣闊的應(yīng)用前景。?
日常交互:可應(yīng)用于智能手機(jī)、智能手表、智能眼鏡等移動設(shè)備,實(shí)現(xiàn)無縫輸入,尤其適合在移動場景中使用,解決傳統(tǒng)輸入方式在該場景下的局限性。
比如,用戶在行走、乘車時,無需再依賴屏幕觸摸或鍵盤輸入,僅通過簡單的手部肌肉活動,就能完成文字輸入、指令下達(dá)等操作,讓信息交互更加便捷高效。?
輔助技術(shù):為行動不便者提供新的交互方式,例如那些因肌肉無力或肢體缺失而難以使用傳統(tǒng)設(shè)備的人群,通過細(xì)微的肌肉活動就能實(shí)現(xiàn)與計算機(jī)的交互。
對于肢體殘疾人士,他們可以借助該接口,以自身獨(dú)特的肌肉運(yùn)動模式控制輪椅、假肢等輔助設(shè)備,獲得更高的生活自主性。?
醫(yī)療康復(fù):可用于臨床診斷和康復(fù)治療,如監(jiān)測患者的肌肉活動情況,輔助制定個性化康復(fù)方案,或作為閉環(huán)神經(jīng)康復(fù)范式的一部分。
醫(yī)生能夠通過分析患者使用該接口時的肌肉電信號數(shù)據(jù),更精準(zhǔn)地了解患者的肌肉恢復(fù)狀態(tài),及時調(diào)整康復(fù)訓(xùn)練計劃,提高康復(fù)效果。?
新型控制方式探索:有望實(shí)現(xiàn)對意圖手勢力量的直接檢測,開發(fā)多自由度聯(lián)合控制,以及低做功的控制方式,甚至可能催生出基于神經(jīng)運(yùn)動信號空間的全新交互形式。
例如,在工業(yè)控制領(lǐng)域,工人可以通過佩戴該接口,以更自然的方式遠(yuǎn)程操控復(fù)雜設(shè)備,減少操作失誤,提高生產(chǎn)效率。?
此外,該技術(shù)還為腦機(jī)接口等相關(guān)領(lǐng)域提供了借鑒,其大規(guī)模數(shù)據(jù)收集和模型訓(xùn)練方法可能為解決其他接口的校準(zhǔn)問題提供方向。
結(jié)語:下一代人機(jī)交互范式或?qū)⒈恢匦露x
Meta在2023年通過OrionAR眼鏡原型完成了技術(shù)的前期驗(yàn)證,2025年核心研究成果正式被頂級學(xué)術(shù)期刊Nature收錄發(fā)表。
這項(xiàng)技術(shù)有望從專業(yè)AR設(shè)備逐步拓展成為通用電子設(shè)備的交互標(biāo)準(zhǔn),最終實(shí)現(xiàn)“讓計算機(jī)理解人類手勢”的技術(shù)愿景。
這種以人為中心的交互理念,或?qū)⒅匦露x下一代人機(jī)交互范式。
教學(xué)丨超超超美古典舞《落花》第3集??單色舞蹈
(三)慢吸快呼:這種呼吸方法常常出現(xiàn)在慢起快落的動作中|。如:在慢步的舞步中,帶上這種呼吸去進(jìn)行動作,會覺得步伐有重量,腳下有根,很穩(wěn)的感覺_。(四)快吸慢呼:這種呼吸方法常常出現(xiàn)在快起慢落的動作中————。以上四種呼吸方法如能恰當(dāng)?shù)倪\(yùn)用到舞蹈當(dāng)中,舞蹈才會更具有魅力、生命力和感染力,才更能完整的演繹作品所要表達(dá)的思想及感情-。 《風(fēng)箏誤》這首古風(fēng)歌曲,由劉珂矣演唱,周夢雪老師精心錄制了完整版的古典身韻教學(xué)視頻。該舞蹈同樣適合零基礎(chǔ)學(xué)習(xí)者,是大家練習(xí)古典舞的好選擇_-。? 落花接下來,我們將介紹另一支備受好評的古典舞——《落花》。點(diǎn)評:《落花》這首古風(fēng)歌曲,作為林心如主演的影視劇《美人心計》的主題曲,被編成古典舞后呈現(xiàn)出等會說|。