Weltführung: Weltmodellierung im Bedingungsraum zur Aktionsgenerierung
World Guidance: World Modeling in Condition Space for Action Generation
February 25, 2026
papers.authors: Yue Su, Sijin Chen, Haixin Shi, Mingyu Liu, Zhengshen Zhang, Ningyuan Huang, Weiheng Zhong, Zhengbang Zhu, Yuxiao Liu, Xihui Liu
cs.AI
papers.abstract
Die Nutzung der Modellierung zukünftiger Beobachtungen zur Erleichterung der Handlungsgenerierung stellt einen vielversprechenden Ansatz zur Erweiterung der Fähigkeiten von Vision-Language-Action (VLA)-Modellen dar. Bestehende Ansätze haben jedoch Schwierigkeiten, ein Gleichgewicht zwischen der Beibehaltung effizienter, vorhersagbarer Zukunftsrepräsentationen und der Bewahrung ausreichend detaillierter Informationen zur Steuerung präziser Handlungsgenerierung zu finden. Um diese Einschränkung zu überwinden, schlagen wir WoG (World Guidance) vor, ein Framework, das zukünftige Beobachtungen durch deren Einbindung in den Handlungsinferenzprozess in kompakte Bedingungen abbildet. Das VLA-Modell wird darauf trainiert, diese komprimierten Bedingungen parallel zu zukünftigen Aktionen vorherzusagen, wodurch eine effektive Weltmodellierung innerhalb des Bedingungsraums für die Handlungsinferenz erreicht wird. Wir zeigen, dass die Modellierung und Vorhersage dieses Bedingungsraums nicht nur die feinabgestufte Handlungsgenerierung erleichtert, sondern auch überlegene Generalisierungsfähigkeiten aufweist. Darüber hinaus ermöglicht es effektives Lernen aus umfangreichen Videos menschlicher Manipulationen. Umfangreiche Experimente in Simulations- und Realumgebungen bestätigen, dass unsere Methode bestehende, auf Zukunftsprognose basierende Ansätze signifikant übertrifft. Die Projektseite ist verfügbar unter: https://selen-suyue.github.io/WoGNet/
English
Leveraging future observation modeling to facilitate action generation presents a promising avenue for enhancing the capabilities of Vision-Language-Action (VLA) models. However, existing approaches struggle to strike a balance between maintaining efficient, predictable future representations and preserving sufficient fine-grained information to guide precise action generation. To address this limitation, we propose WoG (World Guidance), a framework that maps future observations into compact conditions by injecting them into the action inference pipeline. The VLA is then trained to simultaneously predict these compressed conditions alongside future actions, thereby achieving effective world modeling within the condition space for action inference. We demonstrate that modeling and predicting this condition space not only facilitates fine-grained action generation but also exhibits superior generalization capabilities. Moreover, it learns effectively from substantial human manipulation videos. Extensive experiments across both simulation and real-world environments validate that our method significantly outperforms existing methods based on future prediction. Project page is available at: https://selen-suyue.github.io/WoGNet/