WorldVLA : Vers un modèle de monde d'actions autorégressif

WorldVLA: Towards Autoregressive Action World Model

June 26, 2025

Auteurs: Jun Cen, Chaohui Yu, Hangjie Yuan, Yuming Jiang, Siteng Huang, Jiayan Guo, Xin Li, Yibing Song, Hao Luo, Fan Wang, Deli Zhao, Hao Chen

cs.AI

Résumé

Nous présentons WorldVLA, un modèle de monde d'actions autorégressif qui unifie la compréhension et la génération d'actions et d'images. Notre WorldVLA intègre un modèle Vision-Langue-Action (VLA) et un modèle de monde dans un seul et même cadre. Le modèle de monde prédit les images futures en s'appuyant à la fois sur la compréhension des actions et des images, dans le but d'apprendre la physique sous-jacente de l'environnement pour améliorer la génération d'actions. Parallèlement, le modèle d'actions génère les actions suivantes en se basant sur les observations d'images, aidant ainsi à la compréhension visuelle et, en retour, contribuant à la génération visuelle du modèle de monde. Nous démontrons que WorldVLA surpasse les modèles d'actions et de monde autonomes, mettant en évidence l'amélioration mutuelle entre le modèle de monde et le modèle d'actions. De plus, nous constatons que la performance du modèle d'actions se détériore lors de la génération de séquences d'actions de manière autorégressive. Ce phénomène peut être attribué à la capacité limitée de généralisation du modèle pour la prédiction d'actions, entraînant la propagation des erreurs des actions précédentes vers les suivantes. Pour résoudre ce problème, nous proposons une stratégie de masque d'attention qui masque sélectivement les actions antérieures lors de la génération de l'action actuelle, ce qui montre une amélioration significative des performances dans la tâche de génération de segments d'actions.

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.