WorldVLA: Hacia un Modelo de Mundo de Acciones Autoregresivo

Resumen

Presentamos WorldVLA, un modelo autoregresivo del mundo de acciones que unifica la comprensión y generación de acciones e imágenes. Nuestro WorldVLA integra un modelo Visión-Lenguaje-Acción (VLA) y un modelo del mundo en un único marco de trabajo. El modelo del mundo predice imágenes futuras aprovechando tanto la comprensión de acciones como de imágenes, con el propósito de aprender la física subyacente del entorno para mejorar la generación de acciones. Mientras tanto, el modelo de acciones genera las acciones subsiguientes basándose en observaciones de imágenes, lo que ayuda a la comprensión visual y, a su vez, contribuye a la generación visual del modelo del mundo. Demostramos que WorldVLA supera a los modelos de acciones y del mundo por separado, destacando la mejora mutua entre el modelo del mundo y el modelo de acciones. Además, observamos que el rendimiento del modelo de acciones se deteriora al generar secuencias de acciones de manera autoregresiva. Este fenómeno puede atribuirse a la capacidad limitada de generalización del modelo para la predicción de acciones, lo que conduce a la propagación de errores desde acciones anteriores a las subsiguientes. Para abordar este problema, proponemos una estrategia de máscara de atención que enmascara selectivamente acciones previas durante la generación de la acción actual, lo que muestra una mejora significativa en el rendimiento en la tarea de generación de fragmentos de acciones.

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.

WorldVLA: Hacia un Modelo de Mundo de Acciones Autoregresivo

WorldVLA: Towards Autoregressive Action World Model

Resumen

Support