WorldVLA: Auf dem Weg zu einem autoregressiven Aktions-Weltmodell

WorldVLA: Towards Autoregressive Action World Model

June 26, 2025

Autoren: Jun Cen, Chaohui Yu, Hangjie Yuan, Yuming Jiang, Siteng Huang, Jiayan Guo, Xin Li, Yibing Song, Hao Luo, Fan Wang, Deli Zhao, Hao Chen

cs.AI

Zusammenfassung

Wir präsentieren WorldVLA, ein autoregressives Aktions-Weltmodell, das Aktions- und Bildverständnis sowie -generierung vereint. Unser WorldVLA integriert ein Vision-Language-Action (VLA)-Modell und ein Weltmodell in einem einzigen Framework. Das Weltmodell sagt zukünftige Bilder voraus, indem es sowohl Aktions- als auch Bildverständnis nutzt, mit dem Ziel, die zugrunde liegende Physik der Umgebung zu erlernen, um die Aktionsgenerierung zu verbessern. Gleichzeitig generiert das Aktionsmodell die nachfolgenden Aktionen basierend auf Bildbeobachtungen, was das visuelle Verständnis unterstützt und wiederum die visuelle Generierung des Weltmodells fördert. Wir zeigen, dass WorldVLA eigenständige Aktions- und Weltmodelle übertrifft, was die gegenseitige Verstärkung zwischen dem Weltmodell und dem Aktionsmodell verdeutlicht. Darüber hinaus stellen wir fest, dass die Leistung des Aktionsmodells abnimmt, wenn Sequenzen von Aktionen auf autoregressive Weise generiert werden. Dieses Phänomen kann auf die begrenzte Generalisierungsfähigkeit des Modells für die Aktionsvorhersage zurückgeführt werden, was zur Fehlerfortpflanzung von früheren zu nachfolgenden Aktionen führt. Um dieses Problem zu lösen, schlagen wir eine Aufmerksamkeitsmaskierungsstrategie vor, die frühere Aktionen während der Generierung der aktuellen Aktion selektiv maskiert, was eine signifikante Leistungsverbesserung bei der Aufgabe der Aktionschunk-Generierung zeigt.

English

We present WorldVLA, an autoregressive action world model that unifies action and image understanding and generation. Our WorldVLA intergrates Vision-Language-Action (VLA) model and world model in one single framework. The world model predicts future images by leveraging both action and image understanding, with the purpose of learning the underlying physics of the environment to improve action generation. Meanwhile, the action model generates the subsequent actions based on image observations, aiding in visual understanding and in turn helps visual generation of the world model. We demonstrate that WorldVLA outperforms standalone action and world models, highlighting the mutual enhancement between the world model and the action model. In addition, we find that the performance of the action model deteriorates when generating sequences of actions in an autoregressive manner. This phenomenon can be attributed to the model's limited generalization capability for action prediction, leading to the propagation of errors from earlier actions to subsequent ones. To address this issue, we propose an attention mask strategy that selectively masks prior actions during the generation of the current action, which shows significant performance improvement in the action chunk generation task.