柯凌波

岑俊，阿里巴巴達(dá)摩院具身智能大模型算法研究員，博士畢業(yè)于香港科技大學(xué)。研究方向主要是：具身智能VLA模型，世界模型。

阿里巴巴達(dá)摩院提出了WorldVLA,首次將世界模型(WorldModel)和動作模型(ActionModel/VLAModel)融合到了一個模型中。WorldVLA是一個統(tǒng)一了文本、圖片、動作理解和生成的全自回歸模型。

論文標(biāo)題：WorldVLA:TowardsAutoregressiveActionWorldModel

代碼地址：https://github.com/alibaba-damo-academy/WorldVLA

研究簡介

近年來，視覺-語言-動作（Vision-Language-Action,VLA）模型的發(fā)展成為機(jī)器人動作建模研究的重要方向。這類模型通常是在大規(guī)模預(yù)訓(xùn)練的多模態(tài)大語言模型（MultimodalLargeLanguageModels,MLLMs）基礎(chǔ)上，添加一個動作輸出頭或?qū)ｉT的動作模塊，以實(shí)現(xiàn)對動作的生成。MLLMs在感知和決策方面表現(xiàn)出色，使得VLA模型在多種機(jī)器人任務(wù)中展現(xiàn)出良好的泛化能力。然而，這些模型存在一個顯著的局限性：它們往往缺乏對動作本身的深入理解。在現(xiàn)有方法中，動作只是作為輸出結(jié)果處理，并未被當(dāng)作輸入進(jìn)行分析和建模。相比之下，世界模型（WorldModels）能夠基于當(dāng)前觀測與動作預(yù)測未來的視覺狀態(tài)，從而同時(shí)理解視覺信息和行為動態(tài)。盡管具備這一優(yōu)勢，世界模型卻無法直接生成動作輸出，這導(dǎo)致其在需要顯式動作規(guī)劃的應(yīng)用場景中存在功能上的空白。

為了解決VLA模型與世界模型各自的局限，我們提出WorldVLA——一種基于自回歸機(jī)制的統(tǒng)一動作與圖像理解與生成模型。如下圖所示，WorldVLA使用三個獨(dú)立的編碼器分別處理圖像、文本和動作數(shù)據(jù)。不同模態(tài)的token被設(shè)計(jì)為共享相同的詞表，從而使得在同一個語言模型架構(gòu)下可以統(tǒng)一完成跨模態(tài)的理解與生成任務(wù)。

其中，世界模型部分通過輸入動作來生成對應(yīng)的視覺表示，從而學(xué)習(xí)環(huán)境中的物理動態(tài)規(guī)律。這種對動作的解讀與物理世界的建模對于動作模型的決策至關(guān)重要。與此同時(shí)，嵌入在WorldVLA中的動作模型也反過來增強(qiáng)了對視覺信息的理解，進(jìn)一步提升世界模型在圖像生成方面的準(zhǔn)確性。這種雙向增強(qiáng)機(jī)制使整個系統(tǒng)在理解和生成圖像與動作方面更加魯棒和全面。

此外，已有研究表明，動作分塊（actionchunking）和并行解碼技術(shù)對動作模型的性能有顯著影響。然而，我們在實(shí)驗(yàn)中發(fā)現(xiàn)，在自回歸模型中連續(xù)生成多個動作時(shí)會導(dǎo)致性能下降。主要原因在于，預(yù)訓(xùn)練的多模態(tài)語言模型主要接觸的是圖像和文本，而對動作的學(xué)習(xí)較少，因此在動作生成任務(wù)中泛化能力有限。而在自回歸模型中，后續(xù)動作的生成依賴于前面的預(yù)測結(jié)果，一旦出現(xiàn)錯誤，便會隨時(shí)間不斷傳播放大。為了解決這一問題，我們提出了一種動作注意力掩碼策略（actionattentionmaskingstrategy），在生成當(dāng)前動作時(shí)選擇性地屏蔽掉之前的動作信息。這種方法有效緩解了錯誤累積的問題，在動作分塊生成任務(wù)中帶來了顯著的性能提升。

在LIBERO基準(zhǔn)測試中，我們的WorldVLA相比使用相同主干網(wǎng)絡(luò)的傳統(tǒng)動作模型，在抓取成功率上提升了4%。相較于傳統(tǒng)的世界模型，WorldVLA在視頻生成質(zhì)量上表現(xiàn)更優(yōu)，F(xiàn)VD（FréchetVideoDistance）指標(biāo)降低了10%。這些結(jié)果充分說明，將世界模型與動作模型融合所帶來的協(xié)同增益，驗(yàn)證了圖像與動作統(tǒng)一理解與生成框架的優(yōu)勢。在動作分塊生成任務(wù)中，傳統(tǒng)自回歸方式會導(dǎo)致抓取成功率下降10%到50%。但引入我們的注意力掩碼策略后，性能下降得到了明顯緩解，抓取成功率提升了4%到23%。

研究方法

VLA模型可以根據(jù)圖像理解生成動作；世界模型可以根據(jù)當(dāng)前圖像和動作生成下一幀圖像；WorldVLA將將兩者融合，實(shí)現(xiàn)圖像與動作的雙向理解和生成，如下圖所示。

WorldVLA使用獨(dú)立的編碼器分別處理圖像、文本和動作，并讓這些模態(tài)共享同一個詞匯表，從而在單一的大語言模型架構(gòu)下實(shí)現(xiàn)跨模態(tài)的統(tǒng)一建模。這種設(shè)計(jì)不僅提升了動作生成的準(zhǔn)確性，也增強(qiáng)了圖像預(yù)測的質(zhì)量。WorldVLA使用ActionModel數(shù)據(jù)和WorldModel數(shù)據(jù)來訓(xùn)練模型。ActionModel是根據(jù)圖片輸入和文本指令輸入來輸出動作，數(shù)據(jù)格式如下：

WorldModel根據(jù)當(dāng)前幀圖片和動作來生成下一幀圖片，數(shù)據(jù)格式如下：

在一次性輸出多個action時(shí)，使用默認(rèn)的自回歸范式會使得效果變差。原因是動作模態(tài)并不在原本多模態(tài)大模型的預(yù)訓(xùn)練中，因此泛化能力較差，這樣生成多個動作時(shí)就會有誤差累積的問題。為了解決這個問題，WorldVLA提出了一種attentionmask策略，使得生成動作時(shí)只能看見前面的圖片而不能看見前面的動作，從而解決動作累計(jì)誤差問題，如下圖所示。

實(shí)驗(yàn)結(jié)果

在LIBERObenchmark上的實(shí)驗(yàn)結(jié)果如下圖所示，在沒有預(yù)訓(xùn)練的情況下超越了需要預(yù)訓(xùn)練的全自回歸模型OpenVLA。

下圖為actionmodel的消融實(shí)驗(yàn)結(jié)果。對比row2和row1以及row5和row4可以看出，worldmodel的加入可以給actionmodel帶來更好的結(jié)果。Row3可以看出，使用默認(rèn)的attentionmask會導(dǎo)致某些任務(wù)的成功率下降，但是從row4看出，我們提出的attentionmask可以全面大幅提升任務(wù)的成功率。

ActionModel可視化(Text+Image->Action)

下圖可以看出WorldVLA可以根據(jù)指令完成對應(yīng)的動作。

WorldModel可視化(Action+Image->Image)

下圖可以看出WorldVLA可以根據(jù)動作和圖片來生成下一幀圖片。

《快穿:我成了大佬的黑月光》:校霸男主前期佛系,后期病嬌癡心

言情小說《快穿:我成了大佬的黑月光》如何一枝獨(dú)秀到如今?

穿書:《快穿:我成了大佬的黑月光》男主各種腹黑病嬌撩,甜又萌