WorldVLA: Rumo a um Modelo de Mundo de Ações Autoregressivo

Resumo

Apresentamos o WorldVLA, um modelo de mundo de ação autorregressivo que unifica a compreensão e geração de ações e imagens. Nosso WorldVLA integra o modelo Visão-Linguagem-Ação (VLA) e o modelo de mundo em um único framework. O modelo de mundo prevê imagens futuras ao aproveitar tanto a compreensão de ações quanto de imagens, com o objetivo de aprender a física subjacente do ambiente para melhorar a geração de ações. Enquanto isso, o modelo de ação gera as ações subsequentes com base em observações de imagens, auxiliando na compreensão visual e, por sua vez, ajudando na geração visual do modelo de mundo. Demonstramos que o WorldVLA supera modelos de ação e de mundo independentes, destacando o aprimoramento mútuo entre o modelo de mundo e o modelo de ação. Além disso, observamos que o desempenho do modelo de ação se deteriora ao gerar sequências de ações de maneira autorregressiva. Esse fenômeno pode ser atribuído à capacidade limitada de generalização do modelo para previsão de ações, levando à propagação de erros das ações anteriores para as subsequentes. Para resolver esse problema, propomos uma estratégia de máscara de atenção que seletivamente mascara ações anteriores durante a geração da ação atual, o que mostra uma melhoria significativa no desempenho na tarefa de geração de blocos de ações.

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.

WorldVLA: Rumo a um Modelo de Mundo de Ações Autoregressivo

WorldVLA: Towards Autoregressive Action World Model

Resumo

Support