陳初睿
想象一下,你無需觸碰任何設備,只需一個微小的手腕動作,憑空比劃幾下,就能與身邊的電腦、手機、智能眼鏡無縫交互。
Meta公司的RealityLabs,在最新發(fā)表于《自然》(Nature)雜志的論文中,帶來了一項新成果:一種通用的非侵入性神經(jīng)運動接口,與腕帶結(jié)合后,就能讓這種“意念控制”成為現(xiàn)實。
圖|論文標題(來源:Meta論文)
長期以來,人類在追求更高效、更直觀的計算機輸入方式上從未止步。然而,無論是鍵盤、鼠標還是觸摸屏,都不可避免地需要用戶與物理設備進行直接互動,這在移動場景下往往顯得笨拙不便。
而依賴攝像頭或慣性傳感器的手勢系統(tǒng),則容易受制于遮擋或光線不足等環(huán)境因素。
為了破除這些限制,直接從人體讀取信號的腦機接口(brain–computerinterfaces)和神經(jīng)運動接口(neuromotorinterfaces)成為了熱門研究領域。
Meta團隊此次將目光投向了一種非侵入性神經(jīng)運動接口:基于表面肌電圖(sEMG,surfaceelectromyography)的技術(shù)。
簡單來說,就是通過讀取肌肉產(chǎn)生的電信號來理解人體的運動指令。
圖|SEMG腕帶系統(tǒng)示意圖(來源:Meta)
Meta早在多年前就開始著手研究這項技術(shù)。2021年,該公司組建了一個團隊,其中包括論文作者之一托馬斯·里爾登(ThomasReardon)——他于2019年加入RealityLabs,擔任神經(jīng)運動界面主管,主導開發(fā)了一款基于肌電圖的手勢控制裝置原型。
這些肌電信號,實際上是運動單位動作電位(MUAPs,MotorUnitActionPotentials)的總和,它們就像是中央神經(jīng)系統(tǒng)發(fā)出的微電流指令,可以透過皮膚,為我們展現(xiàn)大腦如何控制肌肉。
與腦電圖相比,SEMG信號具有更高的信噪比,這意味著它能更清晰地捕捉到肌肉的微弱活動,從而實現(xiàn)實時的單次手勢解碼。
同時,SEMG信號不受遮擋、光照不足或微小動作的困擾,天然適用于人機交互應用。
(來源:Meta)
基于此,Meta研究團隊開發(fā)并部署了一款非侵入式硬件,像腕帶一樣的SEMG研究設備(SEMG-RD),用于在手腕處記錄SEMG信號。
之所以選擇手腕作為佩戴位置,是因為人類主要通過手部與世界互動,且手腕能廣泛覆蓋手部、腕部和前臂肌肉的SEMG信號。
腕帶是無線的,并能適應不同解剖結(jié)構(gòu)和環(huán)境,僅需幾秒鐘即可完成佩戴或摘除。它通過藍牙傳輸數(shù)據(jù),續(xù)航在4小時左右。
除了硬件設備,研究團隊還創(chuàng)建了一個可擴展的、大規(guī)模數(shù)據(jù)收集基礎設施。他們從數(shù)千名參與者那里收集了大量的訓練數(shù)據(jù),幫助他們開發(fā)出了能夠跨個體泛化的通用SEMG解碼模型。
圖|三種實驗任務(來源:Meta)
實驗設計中包含了三類核心計算機交互任務:一維連續(xù)導航(類似于激光筆控制)、離散手勢檢測(手指捏合、拇指輕掃)和手寫轉(zhuǎn)錄。參與者佩戴SEMG腕帶,并根據(jù)計算機屏幕上的提示執(zhí)行相應的動作。
為了將SEMG信號轉(zhuǎn)換為計算機指令,研究人員架構(gòu)并部署了基于深度神經(jīng)網(wǎng)絡的解碼模型。
針對不同的任務,模型采用了不同的處理技術(shù)和網(wǎng)絡架構(gòu):腕部任務采用多變量功率頻率(MPF,MultivariatePowerFrequency)特征和長短期記憶(LSTM,LongShort-termMemory)層,離散手勢任務采用一維卷積層后接LSTM層,手寫任務采用MPF特征和Conformer架構(gòu)。
此外,研究團隊還開發(fā)了時間對齊算法,以解決提示標簽與實際手勢時間可能存在的偏差,從而提高模型訓練的精度。
圖|SEMG腕帶(來源:Meta)
Meta團隊通過離線和在線(閉環(huán))兩種方式對SEMG解碼模型的性能進行了評估。
離線評估數(shù)據(jù)顯示,SEMG-RD平臺在手寫和手勢檢測任務中,對未參與訓練的測試參與者實現(xiàn)了超過90%的分類準確率。在腕部角度速度解碼任務中,誤差低于13°s-1。
研究指出,單個參與者模型在跨會話和跨用戶泛化方面存在挑戰(zhàn),同一參與者在不同會話間的模型性能隨著訓練數(shù)據(jù)的增加而改善。但跨參與者泛化能力仍然受限,即使增加訓練數(shù)據(jù)也僅能帶來輕微改善。
這突顯了采用大規(guī)模、多樣化數(shù)據(jù)集訓練通用模型的必要性。
模型性能顯示出與訓練數(shù)據(jù)量和模型規(guī)模的冪律關系,這與大型語言模型和視覺Transformer的研究發(fā)現(xiàn)一致。隨著訓練參與者數(shù)量的增加,所有任務的解碼錯誤率均呈現(xiàn)下降趨勢。
在線(閉環(huán))評估數(shù)據(jù)則直接反映了模型作為計算機接口的實際可行性。評估對象為之前沒有SEMG解碼器使用經(jīng)驗的初次用戶。
圖|三種閉環(huán)任務示意圖(來源:Meta)
在腕部連續(xù)控制任務中,用戶實現(xiàn)了每秒0.66個目標獲取的閉環(huán)中位數(shù)性能。在離散手勢任務中,系統(tǒng)實現(xiàn)了每秒0.88次手勢檢測的中位數(shù)性能。在手寫輸入功能上,用戶實現(xiàn)了每分鐘20.9個單詞(WPM,WordsPerMinute)的中位數(shù)性能。
與傳統(tǒng)交互設備相比,如MacBook觸摸板的平均獲取時間為0.68秒、任天堂Joy-Con游戲控制器的中位數(shù)手勢完成率為1.45次/秒、無筆手寫的速度為25.1WPM,SEMG解碼器的絕對性能目前仍有差距。
然而,該接口的優(yōu)勢在于不依賴手持設備或外部儀器,這在特定使用場景下具有幾乎無法替代的價值。研究團隊還觀察到,參與者在實踐中會不斷進步,適當?shù)闹笇Ш途毩曈兄谟脩暨m應腕帶并提高任務表現(xiàn)。
進一步的模型個性化探索表明,即使在通用模型表現(xiàn)良好的情況下,通過短時間額外的個性化數(shù)據(jù)(例如20分鐘)微調(diào)模型,仍能進一步提升性能。
以手寫任務為例,即使通用模型已經(jīng)用6400名參與者的數(shù)據(jù)進行了訓練,但只要再加入短短20分鐘的個性化數(shù)據(jù),就能讓中位數(shù)性能再提高16%。
個性化對那些通用模型表現(xiàn)相對較差的參與者,帶來了更大的相對增益,有效解決了用戶性能的長尾效應。
為了深入理解離散手勢解碼器神經(jīng)網(wǎng)絡的內(nèi)部工作機制,研究人員分析了其學習到的表示。網(wǎng)絡架構(gòu)包含一個一維卷積層和三個循環(huán)LSTM層。
研究發(fā)現(xiàn),第一層卷積層的濾波器在時空特征上與肌肉MUAPs具有相似性。這表明模型在較低層次學習了與肌肉電生理活動相關的基礎模式。
(來源:Meta)
進一步分析LSTM層的表示發(fā)現(xiàn),隨著網(wǎng)絡深度的增加,手勢類別信息在表示空間中變得更加可分離,而與參與者身份、腕帶放置位置和手勢激發(fā)的SEMG功率等“干擾變量”相關的表示則逐漸解耦或保持不變。
這意味著網(wǎng)絡通過學習,逐漸將SEMG信號的表示塑造成對這些“干擾變量”更加不變的形式,從而提高了手勢識別的穩(wěn)健性。
Meta研究團隊指出,這項技術(shù)為未來人機交互開啟了多種可能性。
首先,SEMG解碼器能夠直接檢測手勢的力度,這是現(xiàn)有攝像頭或操縱桿控制無法實現(xiàn)的功能。未來用戶可能通過“意念”來控制設備的力度,例如通過輕微的肌肉收縮來微調(diào)音量,而通過更強的收縮則實現(xiàn)快速靜音。
其次,盡管目前研究主要展示了一維連續(xù)控制,但通過添加更多仿生映射,例如利用手腕的尺側(cè)/橈側(cè)偏離來控制垂直方向,實現(xiàn)多自由度聯(lián)合控制是完全可能的。
此外,SEMG-RD平臺及其配套軟件,還可用于研究神經(jīng)反饋對運動單位活動的影響,從而探索新穎的“人機共生”交互模式,甚至支持人們學習新的運動技能。
最后,在臨床領域,這種只需最小肌肉活動而非特定動作的交互設計,有望為那些運動能力受限、肌肉無力或失去肢體的人提供可行的交互方案,并促進有效的閉環(huán)神經(jīng)康復范式的發(fā)展。
雖然該研究在解決SEMG系統(tǒng)長期面臨的泛化和校準問題上取得了進展,但仍存在局限性和進步空間。
例如,與傳統(tǒng)的、成熟的人機交互方法相比,SEMG系統(tǒng)的絕對性能較弱,學習曲線較為陡峭。此外,該研究主要面對的是健康人群,訓練結(jié)果能否泛化到行動不便人群仍未可知。這或許會限制它在臨床、無障礙方面的用途。
為了更好地推動SEMG的相關研究,研究團隊公開了1060份來自300名參與者的SEMG記錄數(shù)據(jù)以及相關的代碼。
研究人員表示,他們未來的工作將關注用戶熟練度提升、模型優(yōu)化(包括個性化)、后處理技術(shù)和硬件傳感性能的改進。
參考資料:
Kaifosh,P.,Reardon,T.R.&CTRL-labsatRealityLabs.Agenericnon-invasiveneuromotorinterfaceforhuman-computerinteraction.Nature(2025).https://doi.org/10.1038/s41586-025-09255-w
https://newatlas.com/wearables/meta-mouse-keyboard-bracelet-semg-rd/
運營/排版:何晨龍
《青衣》全集免費在線觀看-國產(chǎn)劇-雷電網(wǎng)
◇ 可能的身份推斷在法幣模板歸還并重創(chuàng)特密組的事件中,我黨情報負責人華山收到了青衣的密報--。青衣的雙重身份可能與特密組有關,增加了劇情的復雜性。青衣成功預測了軍統(tǒng)炸毀政府大樓的行動是假象,其真實意圖是攻擊特密組的資料室,以搶奪法幣模板-?!?藍冰的嫌疑在特密組遭受重創(chuàng)后,花向雨詢問是否有人員損失,..
《無間》劇情揭開,青衣鋼琴師的身份謎團與18年前真相大白
電視劇《青衣》全集在線觀看,高清免費-天龍影院青衣青衣
青衣電視劇第1集_精品九九視頻
#青衣劇情介紹--夸克視頻青衣青衣
來源:紅網(wǎng)
作者:鄭華書
編輯:尹倩
本文為紅辣椒評論 原創(chuàng)文章,僅系作者個人觀點,不代表紅網(wǎng)立場。轉(zhuǎn)載請附原文出處鏈接和本聲明。