WorldVLA: Verso un Modello Mondiale Autoregressivo per le Azioni

Abstract

Presentiamo WorldVLA, un modello autoregressivo del mondo delle azioni che unisce la comprensione e la generazione di azioni e immagini. Il nostro WorldVLA integra un modello Vision-Language-Action (VLA) e un modello del mondo in un unico framework. Il modello del mondo prevede immagini future sfruttando sia la comprensione delle azioni che delle immagini, con l'obiettivo di apprendere la fisica sottostante dell'ambiente per migliorare la generazione delle azioni. Nel frattempo, il modello delle azioni genera le azioni successive basandosi sulle osservazioni delle immagini, contribuendo alla comprensione visiva e, a sua volta, aiutando la generazione visiva del modello del mondo. Dimostriamo che WorldVLA supera i modelli di azione e del mondo separati, evidenziando il reciproco potenziamento tra il modello del mondo e il modello delle azioni. Inoltre, osserviamo che le prestazioni del modello delle azioni si deteriorano quando si generano sequenze di azioni in modo autoregressivo. Questo fenomeno può essere attribuito alla limitata capacità di generalizzazione del modello nella previsione delle azioni, che porta alla propagazione degli errori dalle azioni precedenti a quelle successive. Per affrontare questo problema, proponiamo una strategia di mascheramento dell'attenzione che selettivamente maschera le azioni precedenti durante la generazione dell'azione corrente, dimostrando un significativo miglioramento delle prestazioni nel compito di generazione di blocchi di azioni.

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.

WorldVLA: Verso un Modello Mondiale Autoregressivo per le Azioni

WorldVLA: Towards Autoregressive Action World Model

Abstract

Support