機(jī)器之心發(fā)布
機(jī)器之心編輯部
如今，GPT-4o、Gemini2.5Pro等多模態(tài)基礎(chǔ)模型在對話、代碼生成和數(shù)學(xué)推理等任務(wù)中已經(jīng)達(dá)到甚至超越了人類水平。研究者開始探索如何將這種智能從數(shù)字世界延伸至物理空間，以實現(xiàn)具身智能。這其中最受關(guān)注的前沿方向之一，便是視覺-語言-動作模型（Vision-Language-ActionModels，簡稱VLA）。此類模型借助基礎(chǔ)模型的通用能力與大規(guī)模學(xué)習(xí)范式，可以處理通用的視覺（Vision）與語言（Language）輸入，并生成實時動作（Action），極大地賦能了機(jī)器人系統(tǒng)。
近兩年來，VLA相關(guān)研究爆發(fā)式增長，技術(shù)路線日新月異——但這也造成了認(rèn)知碎片化與理解上的困難?，F(xiàn)有分類方法如“大腦-小腦”、“快慢系統(tǒng)”、“分層-端到端”等，直覺清晰但本質(zhì)仍不明確。領(lǐng)域急需系統(tǒng)化的分析框架，以梳理研究現(xiàn)狀，指明未來方向。
為此，北京大學(xué)-靈初智能聯(lián)合實驗室首次從動作詞元化（actiontokenization）視角，提出統(tǒng)一理解VLA模型的新框架。綜述系統(tǒng)分析了八種主流actiontoken，探討了不同動作表示背后的能力支撐、數(shù)據(jù)擴(kuò)展策略和適用場景，明確了未來的架構(gòu)趨勢與關(guān)鍵挑戰(zhàn)。論文由靈初智能00后聯(lián)合創(chuàng)始人陳源培與北京大學(xué)人工智能研究院助理教授楊耀東共同擔(dān)任通訊作者。
值得一提的是，在發(fā)布這一重要理論成果的同時，靈初智能也在加速推進(jìn)VLA技術(shù)的產(chǎn)業(yè)化落地。其自研的VLA模型PsiR1已在麻將機(jī)器人等實際場景中得到驗證，7/25晚20:00鎖定抖音直播，靈初智能聯(lián)合創(chuàng)始人陳源培將與搭載PsiR1的靈初智能機(jī)器人小靈、智元機(jī)器人聯(lián)合創(chuàng)始人稚暉君和首形科技創(chuàng)始人U航展開一場麻將對戰(zhàn)。
除此之外，還有外賣機(jī)器人、超市打包機(jī)器人等也將在WAIC2025（7月26-29日，上海世博展覽館H3-C604展位）上進(jìn)行集中展示，為業(yè)界提供從理論到應(yīng)用的完整技術(shù)路徑參考。
論文標(biāo)題：ASurveyonVision-Language-ActionModels:AnActionTokenizationPerspective論文鏈接：https://arxiv.org/abs/2507.01925倉庫地址：https://github.com/Psi-Robot/Awesome-VLA-Papers
核心觀點總結(jié)
VLA統(tǒng)一框架與ActionToken分類：當(dāng)前的VLA系統(tǒng)遵循一個通用框架：視覺與語言輸入經(jīng)過一系列VLAmodules逐級處理，生成逐漸具體的actiontoken，最終轉(zhuǎn)化為動作輸出。在該框架中，actiontoken可分為languagedescription、code、affordance、trajectory、goalstate、latentrepresentation、rawaction和reasoning八類。VLA中的actiontoken是LLM中l(wèi)anguagetoken的推廣。ActionToken發(fā)展趨勢：VLA模型的未來不在于依賴單一actiontoken，而在于多種token的協(xié)同。Languagemotion表達(dá)能力有限，難以成為主流；languageplan在任務(wù)分解中不可或缺。Code是另一種高效的規(guī)劃形式，其潛力依賴于構(gòu)建完備的感知與動作函數(shù)庫。Affordance（做什么）與trajectory（如何做）可互補(bǔ)結(jié)合，并借助goalstate的目標(biāo)預(yù)測提升生成精度。Latentrepresentation雖具潛力，但訓(xùn)練中面臨粒度、語義覆蓋和任務(wù)對齊等挑戰(zhàn)。Rawaction最適合端到端學(xué)習(xí)，但能力高度依賴數(shù)據(jù)。Reasoning可作為“元token”增強(qiáng)其他token的生成，未來將從基于languagetoken的推理發(fā)展為基于actiontoken的多模態(tài)推理，并支持任務(wù)適應(yīng)性推理計算。新興ActionToken類型：Actiontoken類型由基礎(chǔ)模型的能力決定。隨著模型的演進(jìn)和聽覺、觸覺等新模態(tài)的引入，未來可能涌現(xiàn)出更多新的actiontoken類型與子類型。VLA架構(gòu)趨勢：未來的VLA模型很可能采用分層架構(gòu)：頂層通過languagedescription和code實現(xiàn)長程規(guī)劃與邏輯控制。下層在近期內(nèi)預(yù)計將使用goalstate的視頻預(yù)測、trajectory的流建模以及affordance的三維交互預(yù)測緊密結(jié)合，形成中間動作表示，最終映射為rawaction。長期來看，下層將演化為完全端到端的方式，直接從子任務(wù)級輸入預(yù)測rawaction。reasoning按需貫穿整個VLA模型，增強(qiáng)actiontoken生成。從模仿學(xué)習(xí)到強(qiáng)化學(xué)習(xí)：引入強(qiáng)化學(xué)習(xí)可幫助VLA模型突破模仿學(xué)習(xí)的局限，實現(xiàn)類人試錯與自主探索。實際部署則需更高效的強(qiáng)化算法，以應(yīng)對高重置成本和低交互效率。同時，VLM可自動生成密集獎勵，加速訓(xùn)練與應(yīng)用。從VLA模型到VLA智能體：VLA模型應(yīng)向具備記憶、探索、規(guī)劃和反思能力的主動型VLA智能體演進(jìn)，并由線性結(jié)構(gòu)轉(zhuǎn)向更復(fù)雜的雙向或圖結(jié)構(gòu)架構(gòu)。模型、數(shù)據(jù)與硬件協(xié)同發(fā)展：具身智能旨在應(yīng)對物理世界的非結(jié)構(gòu)化與開放性挑戰(zhàn)，亟需模型、數(shù)據(jù)與硬件協(xié)同發(fā)展。然而受限于機(jī)器人平臺與高質(zhì)量數(shù)據(jù)匱乏，研究多局限于簡化實驗場景，整體仍處早期階段。實現(xiàn)通用智能需三者協(xié)同演進(jìn)，協(xié)力前行。安全與對齊：當(dāng)前的VLA研究主要關(guān)注模型能力，未來必須更加重視安全性與人類對齊。
VLA統(tǒng)一框架與ActionToken視角
VLA模型指依托至少一個視覺或語言基礎(chǔ)模型，能夠根據(jù)視覺與語言輸入，生成動作輸出的模型。其本質(zhì)目標(biāo)是將基礎(chǔ)模型在數(shù)字世界中的智能延伸到物理世界，實現(xiàn)具體的、具身的任務(wù)執(zhí)行能力。
VLA統(tǒng)一框架描述了不同VLA模型共同遵循的通用架構(gòu)：即視覺和語言輸入經(jīng)過一系列功能模塊（VLAmodules），逐層處理并生成更具體、可執(zhí)行的動作信息（actiontoken），最終轉(zhuǎn)化為實際的動作輸出。
VLAmodule指VLA模型中支持端到端梯度傳播的最大可微子網(wǎng)絡(luò)，或不可微的功能模塊（如motionplanning），承擔(dān)特定的能力（例如場景感知、動作規(guī)劃等），并在模型內(nèi)部彼此協(xié)同工作。
Actiontoken則是不同VLAmodules之間傳遞的動作表示，承載具體動作信息?？梢岳斫鉃閂LA模型生成的“動作語言”，用于明確不同模塊間的溝通內(nèi)容與執(zhí)行目標(biāo)。
舉個具體的例子，以完成“端茶倒水”任務(wù)為例：
首先，一個VLAmodule處理視覺輸入和語言指令，接受指令“我渴了，請為我倒一杯茶”，識別場景中的茶壺、茶杯等物品，并規(guī)劃出下一步的子任務(wù)目標(biāo)，比如：“抓起茶壺把手”。這里生成的子任務(wù)描述即為一種actiontoken（此處為languageplan）。接著，另一個VLAmodule接收該actiontoken，進(jìn)一步規(guī)劃具體的抓取路徑與運動軌跡，并生成更加具體的動作描述（例如trajectory）。最終，這些更具體的actiontokens被下游的模塊轉(zhuǎn)化為機(jī)器人可以直接執(zhí)行的動作序列（即rawactions），實現(xiàn)“端茶倒水”的實際行為。
這樣的模塊化結(jié)構(gòu)和actiontoken的概念，不僅明確了VLA系統(tǒng)的內(nèi)部結(jié)構(gòu)，也為深入分析和理解該類模型提供了統(tǒng)一的視角和框架?；诖?，這篇綜述發(fā)現(xiàn)當(dāng)前的VLA模型主要使用了八種actiontoken，并進(jìn)行了系統(tǒng)的分類梳理與分析。
綜述論文還以時間軸的形式展示了基礎(chǔ)模型、基于actiontoken分類的VLA模型，以及相關(guān)數(shù)據(jù)工作的演進(jìn)歷程。其中呈現(xiàn)出的U形結(jié)構(gòu)清晰地表明，VLA模型的快速發(fā)展受到基礎(chǔ)模型與數(shù)據(jù)資源持續(xù)進(jìn)步的雙重驅(qū)動。
八種ActionToken的梳理分析
LanguageDescription（語言描述）
用自然語言的形式描述要完成的動作，按照描述顆粒度主要分為子任務(wù)級別的languageplan（“端起茶杯”）和原子動作級別的languagemotion（“手往前伸”）兩種。
該類方法利用LLM和VLM在理解、推理、分解任務(wù)等方面的能力，使機(jī)器人能夠以更“類人”的方式規(guī)劃和執(zhí)行復(fù)雜任務(wù)。
早期工作如LanguagePlanner、SayCan等表明，LLM可直接將高層指令拆解為語義明確的子任務(wù)（languageplan），大幅降低人工設(shè)定需求。為了緩解僅使用LLM導(dǎo)致的缺乏環(huán)境感知的缺陷，他們引入視覺模塊和動態(tài)反饋等顯式的落地機(jī)制，提升了模型對實際場景的適應(yīng)和操作能力。后續(xù)研究直接使用VLM進(jìn)一步提升多模態(tài)理解和規(guī)劃能力。此外，針對復(fù)雜和長時任務(wù)，部分研究（如BUMBLE、ReflectVLM）引入了記憶與反思機(jī)制，使系統(tǒng)具備分階段推理與跨場景適應(yīng)能力。最近的HiRobot、pi0.5等則進(jìn)一步消除了下層簡單策略的能力限制，擴(kuò)展到能執(zhí)行通用languageplan的策略，實現(xiàn)了更強(qiáng)的任務(wù)泛化和動態(tài)修正能力。在細(xì)粒度languagedescription的研究方面，RT-H、NaVILA等工作將低層動作細(xì)化為languagemotion，促進(jìn)了跨任務(wù)的數(shù)據(jù)共享和人機(jī)交互。
這一范式展示出諸多優(yōu)勢。一是與基礎(chǔ)模型高度兼容：語言描述與LLM/VLM的原生輸出空間一致，能夠充分發(fā)揮模型的理解、推理和規(guī)劃能力，實現(xiàn)零樣本（zero-shot）或少樣本（few-shot）泛化，顯著降低任務(wù)定制化成本。二是豐富的訓(xùn)練數(shù)據(jù)支持：借助海量圖文與操作數(shù)據(jù)，語言描述能有效遷移現(xiàn)實世界知識，提升模型的泛化性與可擴(kuò)展性。三是更強(qiáng)的長時規(guī)劃能力：分層的語言指令有助于模型處理長鏈路、多階段任務(wù)，支持復(fù)雜任務(wù)的結(jié)構(gòu)化分解和執(zhí)行。四是高度可解釋性與可控性：自然語言表達(dá)易于人類理解和干預(yù)，方便實現(xiàn)人機(jī)協(xié)同、動態(tài)糾錯與在線優(yōu)化。
但當(dāng)前也面臨表達(dá)精度不足與推理時延等挑戰(zhàn)。未來，研究趨勢是將languagedescription用于高層規(guī)劃，底層控制則結(jié)合affordance、trajectory、goalstate等精細(xì)表示，從而兼顧任務(wù)復(fù)雜性和動作精確性，推動具身智能系統(tǒng)在復(fù)雜環(huán)境下的實用落地。
Code（代碼）
用代碼的形式表達(dá)任務(wù)的實現(xiàn)邏輯，包含循環(huán)、分支等邏輯控制和機(jī)器人感知、控制的API調(diào)用。
代碼是人類與計算機(jī)之間最直接也最高效的交流方式。文章系統(tǒng)梳理了近年來以code為actiontoken的VLA研究進(jìn)展，聚焦其如何從“能運行的控制代碼”演進(jìn)為“具備邏輯結(jié)構(gòu)、感知能力與任務(wù)泛化能力的機(jī)器人行為策略”。代碼其核心思想是：將自然語言和視覺輸入轉(zhuǎn)化為結(jié)構(gòu)清晰、具備可讀性與可執(zhí)行性的程序或偽代碼，擺脫對神經(jīng)網(wǎng)絡(luò)隱式向量的依賴，用明確、透明的代碼來驅(qū)動機(jī)器人行為。
code的主要優(yōu)勢在于當(dāng)前語言模型在代碼生成方面已展現(xiàn)出極強(qiáng)的能力。生成的程序不僅能夠自然地調(diào)用預(yù)定義的機(jī)器人操作API，也可以集成感知基礎(chǔ)模型提供的識別模塊，還能靈活接入如NumPy、PyTorch等常用庫進(jìn)行空間計算與邏輯控制。這種模塊化、可組合的特性，使得策略能夠快速適配新任務(wù)，具備良好的擴(kuò)展性與可調(diào)試性。同時，代碼語言天然具備流程控制結(jié)構(gòu)，如條件判斷與循環(huán)語句，從而完成邏輯更復(fù)雜的任務(wù)規(guī)劃。
但與此同時，code也面臨現(xiàn)實挑戰(zhàn)。首先，它對API庫的依賴極高，而API本身的覆蓋范圍往往受限。一旦機(jī)器人需要的功能未被定義，或已有接口無法適配當(dāng)前任務(wù)需求，策略即失效。例如，如果現(xiàn)有控制API并不支持對“濕滑地面”“易碎物體”等復(fù)雜環(huán)境屬性進(jìn)行建模和調(diào)用，那么即使生成的代碼邏輯正確，也無法穩(wěn)健執(zhí)行所需動作。其次，代碼結(jié)構(gòu)的固定性也帶來了執(zhí)行層的脆弱性。一方面，語言模型在生成代碼時可能出現(xiàn)邏輯錯誤、結(jié)構(gòu)冗余等問題，影響控制效率；但更嚴(yán)重的是，代碼本身往往默認(rèn)了若干環(huán)境前提條件。一旦實際場景違背這些假設(shè)（例如物體潮濕、位置偏移或不可見），系統(tǒng)可能觸發(fā)不當(dāng)操作，甚至導(dǎo)致物體損壞或設(shè)備安全風(fēng)險。
因此，未來研究可以從兩個維度進(jìn)一步釋放代碼式策略的潛力。一方面，需要構(gòu)建更完善、更語義豐富的機(jī)器人API庫，使語言模型能夠通過調(diào)用接口實現(xiàn)復(fù)雜任務(wù)的自動編排，尤其適用于多步驟、長時序的任務(wù)控制。另一方面，引入形式化驗證機(jī)制以檢測API調(diào)用的一致性與合法性，并配合運行時安全監(jiān)控手段，降低執(zhí)行層風(fēng)險。同時，代碼的可讀性也為“人機(jī)協(xié)同控制”提供了天然接口——人類可以參與策略微調(diào)、糾錯甚至插入控制邏輯，為構(gòu)建可信、可控的具身智能系統(tǒng)提供新的技術(shù)路徑。
Affordance（可操作性）
一種基于空間的表示方式，刻畫物體在當(dāng)前任務(wù)中可以如何被交互使用。常見形式包括關(guān)鍵點（keypoint）、邊界框（boundingbox）、分割掩碼（segmentationmask）或可操作圖（affordancemap）。
在具身智能系統(tǒng)中，如何將感知結(jié)果轉(zhuǎn)化為可執(zhí)行動作，始終是“語言-感知-控制”鏈條中最具挑戰(zhàn)性的環(huán)節(jié)之一。近年來VLA興起的一個關(guān)鍵方向是將affordance（可操作性）作為結(jié)構(gòu)化的actiontoken，用于連接高層感知理解與底層控制執(zhí)行。所謂affordance，指的是物體或區(qū)域“可以被如何交互”的結(jié)構(gòu)化表示，例如杯沿可能是“可抓取的”，抽屜把手可能是“可拉動的”。相較于傳統(tǒng)的坐標(biāo)點或動作軌跡表示，affordance更強(qiáng)調(diào)語義明確、空間對齊，并具備良好的任務(wù)適應(yīng)性。當(dāng)前的VLA研究中，affordance動作表達(dá)的形式包括：關(guān)鍵點、邊界框、分割掩碼以及可操作性圖，每種方式在任務(wù)類型、精度要求與環(huán)境復(fù)雜度之間展現(xiàn)出互補(bǔ)優(yōu)勢。
不同的表示形式各有側(cè)重：關(guān)鍵點能夠精確指示交互目標(biāo)，如把手或按鈕；邊界框在多類檢測模型和語言視覺模型支持下可高效實現(xiàn)實例定位；分割掩碼為功能性區(qū)域提供像素級輪廓與幾何細(xì)節(jié)，適用于復(fù)雜表面操作；而可操作性圖則從全局視角提供稠密、概率化的交互區(qū)域分布，適合復(fù)雜場景下的空間推理與動作規(guī)劃。
盡管具有結(jié)構(gòu)清晰、跨平臺遷移性強(qiáng)等優(yōu)勢，現(xiàn)有affordance動作表示仍面臨三類核心挑戰(zhàn)：一是空間表達(dá)維度不足，多數(shù)方法仍停留在2D或投影3D表達(dá)，難以勝任需要完整空間理解的真實操作任務(wù)；二是動態(tài)建模缺失，affordance通常被視為靜態(tài)屬性，忽略了動作執(zhí)行后的狀態(tài)變化，無法處理例如“打開瓶蓋后變?yōu)榭傻钩觥钡膭討B(tài)演化；三是感知魯棒性有限，在遮擋、模糊等視覺干擾下容易出現(xiàn)誤判，影響下游控制穩(wěn)定性。
針對這些問題，文章總結(jié)出affordance動作表示未來的三個關(guān)鍵發(fā)展方向：
構(gòu)建原生三維表達(dá)形式，基于神經(jīng)輻射場、高斯渲染等方法，實現(xiàn)對物體幾何與空間布局的真實建模；引入時序建模機(jī)制，使模型能夠感知并預(yù)測交互過程中的affordance演化，提高對長時序任務(wù)的適應(yīng)能力；增強(qiáng)策略魯棒性與不確定性感知能力，不僅預(yù)測交互區(qū)域，還需識別模型自身置信度，提升決策安全性與可控性。
Trajectory（軌跡）
表示物體、末端執(zhí)行器或場景隨時間變化的連續(xù)空間狀態(tài)序列，也就是“從哪里到哪里怎么動”。
在VLA模型的研究中，一個核心挑戰(zhàn)是附帶動作標(biāo)簽的機(jī)器人數(shù)據(jù)集的稀缺性。近期研究表明，將“軌跡（Trajectory）”作為一種動作表征，是應(yīng)對此挑戰(zhàn)的有效范式。該方法通過利用無需動作標(biāo)注的通用視頻數(shù)據(jù)，用其中蘊含的運動軌跡來表示動作，從而顯著拓寬了模型的訓(xùn)練數(shù)據(jù)來源。
該研究方向的核心在于將機(jī)器人動作編碼為運動軌跡。這些表征主要分為三類：一是點軌跡（PointTrajectory），通過一系列時序下的離散坐標(biāo)點來為機(jī)器人提供精確的路徑引導(dǎo)；二是視覺軌跡（VisualTrajectory），它將運動路徑直接渲染于圖像之上，在視覺上下文中直觀地呈現(xiàn)動作意圖；三是光流（OpticalFlow），作為一種更為稠密的表征，它描述場景中每個像素的運動矢量，從而捕捉了整體環(huán)境的動態(tài)信息。
基于軌跡的動作表征展現(xiàn)出多項關(guān)鍵優(yōu)勢。首先，正如前文所言，用軌跡作為動作表征可以有效地利用大量視頻數(shù)據(jù)，拓寬訓(xùn)練數(shù)據(jù)來源。其次，也是至關(guān)重要的一點，軌跡在任務(wù)泛化上表現(xiàn)出卓越的能力。對于那些語義目標(biāo)不同但底層運動模式相似的任務(wù)（例如“擦拭表面”與“滑動滑塊”），基于軌跡的策略能夠?qū)崿F(xiàn)更高效的零樣本泛化。再次，與依賴隱空間表征的抽象方法相比，軌跡是一種外顯且具備人類可解釋性的動作形式，為模型的訓(xùn)練與調(diào)試提供了極大便利。
盡管前景廣闊，該方法仍面臨若干挑戰(zhàn)。當(dāng)前多數(shù)工作聚焦于二維軌跡，其固有的三維空間信息（尤其是物體姿態(tài)與旋轉(zhuǎn)）的缺失，限制了其在復(fù)雜靈巧操作任務(wù)中的應(yīng)用。同時，部分依賴大型生成模型的方法存在計算成本高、推理頻率低的問題，難以滿足機(jī)器人實時、平滑控制的需求。此外，純軌跡表征在處理需要復(fù)雜交互邏輯、力控制或基于物體功能理解（affordance）的任務(wù)時，其語義豐富度尚顯不足。
因此，未來的研究方向?qū)⒅饕劢褂谌齻€方面：一是探索包含完整六自由度（6-DoF）信息的三維空間軌跡表征；二是開發(fā)輕量化、高效率的軌跡生成與規(guī)劃模型；三是構(gòu)建結(jié)合了軌跡路徑與語義概念的混合式動作表征，從而使機(jī)器人能夠應(yīng)對更廣泛、更復(fù)雜的任務(wù)場景。
GoalState（目標(biāo)狀態(tài)）
對未來動作結(jié)果的視覺預(yù)測，如一張圖片、點云或視頻片段，直觀地展示執(zhí)行完某個動作序列后應(yīng)該達(dá)到的目標(biāo)樣子，用作規(guī)劃和執(zhí)行的中間目標(biāo)。
讓機(jī)器人“想清楚”再行動。我們?nèi)祟愒趫?zhí)行任務(wù)前，常會先在腦中構(gòu)想最終結(jié)果。受此啟發(fā)，VLA模型也開始采用預(yù)測的目標(biāo)狀態(tài)，即任務(wù)預(yù)期結(jié)果的視覺呈現(xiàn)，來作為中間的“行動指令”。這就像在給機(jī)器人下達(dá)指令后，先讓它“想象”出任務(wù)完成的樣子，再根據(jù)這個“想象”來規(guī)劃具體動作，從而彌合高層指令與低層執(zhí)行之間的鴻溝。
這種方法通常采用分層架構(gòu)：一個高層模型根據(jù)指令生成目標(biāo)狀態(tài)的圖像或視頻，隨后低層模型依據(jù)這個視覺指引來生成最終的動作序列。目標(biāo)狀態(tài)主要分為單幀圖像多幀視頻。單幀圖像描繪任務(wù)完成后的靜態(tài)場景，帶來數(shù)據(jù)可擴(kuò)展性高、能利用無動作視頻訓(xùn)練等優(yōu)勢。而多幀視頻則提供了更豐富的時間上下文和“如何做”的線索，能從大規(guī)模數(shù)據(jù)中生成、提取隱式動作信息，并增強(qiáng)模型在不同任務(wù)和機(jī)器人平臺間的泛化能力
目標(biāo)狀態(tài)的核心優(yōu)勢在于其極佳的數(shù)據(jù)可擴(kuò)展性（通過自動化數(shù)據(jù)生成）、更廣泛的數(shù)據(jù)源和更強(qiáng)的泛化能力（利用無動作視頻和人類執(zhí)行數(shù)據(jù)），以及增強(qiáng)的任務(wù)特異性（提供精確視覺指引），同時還具備魯棒的可解釋性和直觀的評估方式。然而，目標(biāo)狀態(tài)也面臨挑戰(zhàn)：生成高質(zhì)量、一致性的目標(biāo)狀態(tài)依然困難，可能出現(xiàn)過度具體或不準(zhǔn)確的情況；此外，生成未來圖像或視頻會引入較高的推理延遲，影響實時控制。盡管如此，隨著圖像和視頻生成技術(shù)的飛速發(fā)展，目標(biāo)狀態(tài)作為VLA模型中一個充滿前景的行動指令，正不斷提升機(jī)器人理解和執(zhí)行復(fù)雜任務(wù)的能力。未來的研究將重點關(guān)注提高計算效率、增強(qiáng)環(huán)境魯棒性，以及優(yōu)化長程任務(wù)規(guī)劃。
LatentRepresentation（隱式表示）
通過大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練得到的一段隱向量序列，用來編碼一定時間范圍內(nèi)與動作相關(guān)的信息。
如何讓機(jī)器人像人一樣，通過觀察就能快速學(xué)習(xí)各種任務(wù)？近期的VLA研究開發(fā)了一種新的訓(xùn)練范式，不再大量依賴昂貴的、為機(jī)器人量身定制的訓(xùn)練數(shù)據(jù)，通過讓AI模型觀看多樣的機(jī)器人視頻數(shù)據(jù)集和海量的人類視頻數(shù)據(jù)集（如Ego4D等），可以自動學(xué)習(xí)并提煉出一套通用的動作“隱式表示（latentrepresentation）”。
這一類方法的核心在于構(gòu)建動作的隱式表示，根據(jù)編碼的動作信息不同，主要分為以下三類：視覺變化信息，通過分析一段時間內(nèi)視覺場景的變化（比如機(jī)械臂的移動），來推斷其中發(fā)生的動作；動作塊壓縮信息，將一段完整的機(jī)器人動作序列（ActionChunk），直接壓縮成一個高效、緊湊的“動作ID”；任務(wù)目標(biāo)信息，將一系列的視覺觀察，編碼成一個具有高級語義的“目標(biāo)”信息，指導(dǎo)后續(xù)行為。
這一“潛在動作”方法的價值是多方面的。首先，它極大地拓寬了數(shù)據(jù)來源，使得幾乎所有機(jī)器人數(shù)據(jù)集和海量人類視頻都能成為機(jī)器人的“教科書”。其次，它顯著提升了訓(xùn)練效率。例如，文中提到的UniVLA模型，采用該方法后，僅用OpenVLA所需4.45%的預(yù)訓(xùn)練時間，就達(dá)到了相當(dāng)?shù)男阅?，效率飛躍超過20倍。最關(guān)鍵的是，這種方法學(xué)習(xí)到的動作是“身體無關(guān)”的，意味著從人類視頻中學(xué)到的操作技能，可以被有效遷移到擁有不同形態(tài)的機(jī)器人身上，展現(xiàn)了驚人的泛化能力。此外，潛在動作表示還有融合其他模態(tài)動作信息的潛力，比如觸覺和聽覺信息。
盡管有上述的種種優(yōu)點，該方法也面臨著挑戰(zhàn)，主要在于其“黑箱”特性——由于“潛在動作”由AI自主定義，其內(nèi)部邏輯難以被人類完全理解和干預(yù)，這給調(diào)試和確保安全性帶來了新的挑戰(zhàn)。因此，確保這些潛在的動作表示具有良好的性質(zhì)和質(zhì)量變得尤為重要。未來的研究將聚焦于三大方向：如何讓這套“潛在動作”的粒度更精細(xì)以支持復(fù)雜操作；如何確保其完備性以覆蓋所有可能的任務(wù)場景；以及如何加強(qiáng)其與人類意圖的對齊，確保機(jī)器人真正“聽得懂、干得對”。
RawAction（原始動作）
可以被機(jī)器人直接執(zhí)行的低層級控制指令，比如關(guān)節(jié)角度變化、末端位姿控制、輪子轉(zhuǎn)速等。
近年來，大語言模型（LLM）所展現(xiàn)出的強(qiáng)大能力引發(fā)了廣泛關(guān)注。正如RichardSutton在《TheBitterLesson》中所指出的，通向通用智能的長期路徑并非依賴人類設(shè)計的領(lǐng)域知識，而是通過通用方法和擴(kuò)展計算規(guī)模實現(xiàn)。LLM的成功正源于其在預(yù)訓(xùn)練數(shù)據(jù)量和模型參數(shù)規(guī)模上的擴(kuò)展（scalinglaw）。因此，一個自然而然的設(shè)想是：是否可以將LLM的成功經(jīng)驗推廣到VLA模型中？
在所有的動作token表征方式中，rawaction是最直接的形式，它對應(yīng)具身智能體的底層動作空間，例如機(jī)械臂的關(guān)節(jié)角度。這種表征天然具備無損性，既可直接從真實系統(tǒng)中采集，也可用于生成，省去了額外的動作格式映射步驟，因而非常適合VLA模型的端到端訓(xùn)練。隨著數(shù)據(jù)規(guī)模和模型參數(shù)的不斷增長，我們有理由期待VLA模型出現(xiàn)類似LLM的scalinglaw，從而實現(xiàn)更強(qiáng)的泛化能力。
近年圍繞rawactiontoken的VLA模型的發(fā)展已初步展現(xiàn)出這一趨勢。在數(shù)據(jù)層面，多個大規(guī)模機(jī)器人數(shù)據(jù)集陸續(xù)發(fā)布，如RT系列、Open-XEmbodiment、DROID、AgiBotWorld，涵蓋了跨本體、多任務(wù)的多樣性數(shù)據(jù)。模型層面的發(fā)展也呈現(xiàn)出清晰的演進(jìn)路徑：從早期的簡單多模態(tài)融合架構(gòu)，發(fā)展到基于Transformer的自回歸模型，再到近期基于基座VLM和擴(kuò)散模型的動作塊生成方法（Diffusion-basedActionChunking）。這些模型在參數(shù)規(guī)模和數(shù)據(jù)使用上不斷擴(kuò)展，并借助預(yù)訓(xùn)練的VLM提升了泛化能力，同時擴(kuò)散模型結(jié)合動作塊也顯著增強(qiáng)了對精細(xì)動作分布的建模能力與動作生成頻率。此外，LLM中“預(yù)訓(xùn)練+后訓(xùn)練”的范式也在VLA中得到驗證。研究表明，經(jīng)過大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練的VLA模型，在后訓(xùn)練階段僅需少量新數(shù)據(jù)即可遷移至下游任務(wù)，大幅降低了微調(diào)與部署成本。
總體而言，基于rawaction的VLA模型具有多方面優(yōu)勢：其表征無需人為設(shè)計或映射，最符合《TheBitterLesson》中倡導(dǎo)的最少人類知識介入原則；其端到端可擴(kuò)展結(jié)構(gòu)便于借鑒LLM/VLM的成功范式；其預(yù)訓(xùn)練能力降低了后訓(xùn)練數(shù)據(jù)需求，使得在現(xiàn)實環(huán)境中的泛化部署成為可能。
然而，這一方向也面臨若干挑戰(zhàn)。首先，真實數(shù)據(jù)的獲取成本高昂，當(dāng)前最大規(guī)模的機(jī)器人數(shù)據(jù)集仍處于百萬級別，遠(yuǎn)低于LLM所依賴的十億級互聯(lián)網(wǎng)語料，實現(xiàn)類似scalinglaw效應(yīng)尚顯不足。其次，大模型VLA的推理速度仍然受限，難以滿足高實時性要求的精細(xì)操作任務(wù)。最后，實現(xiàn)單一模型的跨本體泛化能力仍是一個未解難題。未來的研究應(yīng)聚焦于如何更高效地獲取高質(zhì)量數(shù)據(jù)、提升推理效率，并突破模型在異構(gòu)機(jī)器人間的遷移能力等核心問題。
Reasoning（推理）
用自然語言表達(dá)的思考過程，解釋“為什么要做這個動作”，常用來輔助生成更合理的其他actiontoken。
機(jī)器人操作和自動駕駛等復(fù)雜的具身任務(wù)不僅需要長期規(guī)劃和推理能力，更要求AI對空間、語義有深刻理解，并能在不斷變化的真實世界環(huán)境中高效運行。僅僅依靠擴(kuò)大模型參數(shù)規(guī)模，遠(yuǎn)不足以應(yīng)對這些固有的復(fù)雜性。因此，為VLA模型注入強(qiáng)大的推理能力，已成為當(dāng)前最迫切且有前景的解決方案。
我們所說的VLA中的推理，并非抽象概念，而是一個明確外化的、以自然語言形式呈現(xiàn)的深思熟慮過程。它扮演著關(guān)鍵的中間角色：當(dāng)模型接收到高層指令時，推理步驟會引導(dǎo)其生成最終的目標(biāo)actiontoken。這就像讓人工智能擁有了“思考”的能力，能夠一步步地權(quán)衡、判斷，并將內(nèi)部決策過程清晰地展現(xiàn)出來。
這種“思考”能力最初源于大型語言模型的“思維鏈”概念，即通過一系列中間步驟來解決復(fù)雜問題。如今，這一理念已成功拓展到VLA領(lǐng)域。早期，研究者常通過結(jié)合大型語言模型與額外視覺模塊來實現(xiàn)具身推理。但現(xiàn)在，具備多模態(tài)先驗知識的VLM已成為主流。VLM能夠簡化模型架構(gòu)，并通過專門的微調(diào)或再訓(xùn)練來適應(yīng)具身推理的獨特需求。一些方法通過自動化數(shù)據(jù)合成有效解決了高質(zhì)量大規(guī)模推理數(shù)據(jù)集的獲取難題，甚至將人類日常視頻也納入數(shù)據(jù)合成，拓寬了訓(xùn)練數(shù)據(jù)的來源。此外，一些VLM更是通過強(qiáng)化學(xué)習(xí)等方式，專門針對具身推理進(jìn)行了深度優(yōu)化。在自動駕駛這一高風(fēng)險、高復(fù)雜度的應(yīng)用場景中，這類模型將“思維鏈”應(yīng)用于其場景描述、分析和規(guī)劃等關(guān)鍵模塊，充分展現(xiàn)了推理在處理復(fù)雜決策中的核心作用。
將推理融入VLA模型，帶來了多重顯著優(yōu)勢。它能有效彌合高層指令與底層行動的鴻溝，通過中間思考步驟提升模型對復(fù)雜指令的理解和分解能力，從而增強(qiáng)其在面對新場景和對象時的泛化性和對復(fù)雜任務(wù)的解決能力。此外，推理過程的外化極大地提高了模型的可解釋性，使人類能清晰審查決策、定位錯誤并實時干預(yù)，從而深化人機(jī)協(xié)作。
然而，推理的應(yīng)用也面臨局限。最突出的是，推理過程往往涉及冗長序列，導(dǎo)致推理時間增加和執(zhí)行速度降低，這對于需要實時響應(yīng)的高頻任務(wù)而言是關(guān)鍵瓶頸。同時，當(dāng)前推理步驟的固定性以及高質(zhì)量、大規(guī)模推理數(shù)據(jù)集構(gòu)建的挑戰(zhàn)，也限制了其靈活性和進(jìn)一步發(fā)展。
VLA中的數(shù)據(jù)來源
在VLA迅速發(fā)展的當(dāng)下，“數(shù)據(jù)”正成為決定模型能力邊界的關(guān)鍵因素。因此，文章系統(tǒng)梳理了當(dāng)前VLA模型所依賴的數(shù)據(jù)資源，并按照“數(shù)據(jù)金字塔”的框架，將其劃分為三層：網(wǎng)絡(luò)數(shù)據(jù)與人類視頻、合成與仿真數(shù)據(jù)、真實機(jī)器人數(shù)據(jù)。這三類數(shù)據(jù)在模態(tài)組合、監(jiān)督粒度和具身相關(guān)性上各具優(yōu)劣，同時在性能與泛化能力之間形成了清晰的分工。
金字塔的底層由網(wǎng)絡(luò)數(shù)據(jù)與人類視頻構(gòu)成。這類數(shù)據(jù)規(guī)模最大、獲取成本最低，盡管不包含機(jī)器人可執(zhí)行的動作標(biāo)簽，但它們?yōu)槟Ｐ徒⑼ㄓ靡曈X語言理解能力提供了基礎(chǔ)。例如，大量圖文對支持模型學(xué)習(xí)物體、動作與場景的語義表征；而第一人稱視角的人類演示視頻（如廚房任務(wù)）則提供了豐富的多模態(tài)信息。雖然這些數(shù)據(jù)缺乏動作監(jiān)督與精確標(biāo)注，但其強(qiáng)語義密度使其成為VLA預(yù)訓(xùn)練中不可或缺的資源，幫助模型“看懂世界”“聽懂任務(wù)”，為后續(xù)具身接入與行為學(xué)習(xí)打下語義基礎(chǔ)。此外，這類數(shù)據(jù)還廣泛用于訓(xùn)練trajectory，latentrepresentation等actiontoken。
金字塔的中層由合成與仿真數(shù)據(jù)構(gòu)成。相比昂貴而稀缺的真實機(jī)器人數(shù)據(jù)，這類數(shù)據(jù)提供了高性價比且更多樣化的數(shù)據(jù)；相比人類視頻，它包含明確的動作標(biāo)簽。主流做法包括兩類：離線數(shù)據(jù)合成與交互式仿真平臺。離線數(shù)據(jù)合成方法如MimicGen、DexMimicGen和RoboCasa，通過程序化修改、動力學(xué)擾動等手段，從少量演示中生成覆蓋廣泛任務(wù)與環(huán)境變化的大規(guī)模軌跡數(shù)據(jù)。而交互式仿真平臺（如IsaacLab、Habitat、robosuite等）則提供了一個可反復(fù)試驗、高度可控的“具身訓(xùn)練場”。研究者可以通過遙操作、算法規(guī)劃或強(qiáng)化學(xué)習(xí)等方式持續(xù)生成行為數(shù)據(jù)，并通過程序生成器不斷多樣化環(huán)境配置。值得注意的是，越來越多的仿真平臺開始融合高保真物理引擎與真實3D場景資產(chǎn)，使仿真交互更接近現(xiàn)實，適用于復(fù)雜任務(wù)的預(yù)訓(xùn)練。
金字塔的頂層是真實機(jī)器人數(shù)據(jù)，承載了物理世界中最具真實性的動作信息。相比仿真或人類演示，真機(jī)數(shù)據(jù)包含了現(xiàn)實世界中的動態(tài)變化、感知噪聲與物理約束，是將策略“從仿真走向真實”的關(guān)鍵支撐。綜述系統(tǒng)梳理了多個代表性數(shù)據(jù)集：多機(jī)器人數(shù)據(jù)（如OXE、RoboMIND），單機(jī)器人數(shù)據(jù)集（如RT-1、DROID、AgiBotWorld），以及自動駕駛?cè)蝿?wù)中的時序軌跡（如WaymoOpenDataset-Motion）。這些數(shù)據(jù)覆蓋了各種場景中不同形態(tài)的機(jī)器人完成不同任務(wù)的真機(jī)軌跡，還在故障軌跡、力矩/聲音模態(tài)等方面提供了學(xué)習(xí)樣本，為策略訓(xùn)練帶來了更強(qiáng)的現(xiàn)實魯棒性與泛化數(shù)據(jù)支撐。
結(jié)語
VLA模型正迅速成為通往具身智能的核心路徑。這篇綜述首次從actiontoken視角系統(tǒng)梳理VLA技術(shù)路線，明確八類token的設(shè)計思路、優(yōu)劣權(quán)衡與發(fā)展趨勢，并指出當(dāng)前研究中的關(guān)鍵挑戰(zhàn)與未來方向。隨著基礎(chǔ)模型能力的持續(xù)躍升、數(shù)據(jù)的不斷擴(kuò)展、研究人員的不斷努力，VLA研究正在邁向通用智能的下一站。
在即將到來的2025世界人工智能大會（7月26-29日）上，靈初智能將全面展示VLA技術(shù)的產(chǎn)業(yè)化成果，其發(fā)布的PsiR1模型能夠?qū)崿F(xiàn)30分鐘連續(xù)麻將博弈，展現(xiàn)了機(jī)器人在開放環(huán)境下處理復(fù)雜任務(wù)的突破性能力，標(biāo)志著具身智能從簡單動作執(zhí)行向真正的認(rèn)知決策和長程操作的關(guān)鍵躍遷。這將為業(yè)界提供一個觀察VLA技術(shù)從理論突破走向?qū)嶋H應(yīng)用的重要窗口，共同推動具身智能技術(shù)在真實世界中的廣泛落地。
寶藏書籍《鳳尊九天:閣主夫人太囂張》如何真的磕到了!
(點擊下方免費閱讀) 《鳳尊九天：閣主夫人太囂張》作者：蘇茶內(nèi)容簡介：一朝身死，意外魂穿，醫(yī)毒雙絕的職業(yè)殺手變成了毫無靈力的廢材一枚。。別人穿越寶器開掛金手指，華麗逆襲閃瞎眼，而她實力不足是硬傷，猥瑣發(fā)育頂風(fēng)浪。。無恥，撒潑，耍賴皮，撩個美男想要跑，一不留神被套牢。。某人嬉笑：“我就這么隨口一說，你說完了。
延伸閱讀：與 四部門發(fā)布在辦理涉未成年人案件中全面開展家庭教育指導(dǎo)工作典型：案；例 的相關(guān)文章
特朗普：泰柬同意?；?/a>
女子面試后想刪個人信息遭老板毆打骨折，涉事面試官被刑拘，面試后未入職是否有權(quán)要求刪除個人信息？
如何看 T1 以 2:1 戰(zhàn)勝 GEN 后，F(xiàn)aker 在舞臺上高興的唱歌請慶祝？
北海摩托艇事件誰該擔(dān)責(zé)
我的顧客自己組成一條食物鏈
如何看待東北大學(xué) 6 名學(xué)生在中國黃金集團(tuán)內(nèi)蒙古礦業(yè)有限公司選礦廠參觀時，墜入浮選槽身亡?
王源彩色頭發(fā)
《游弋在風(fēng)暴之中》-兩位UP主6年親歷極端天氣
任嘉倫 真男人
放棄？！史上最難的游戲終于出現(xiàn)了？？《下一個是誰5》02
