Wereldbegeleiding: Wereldmodellering in Conditieruimte voor Actiegeneratie
World Guidance: World Modeling in Condition Space for Action Generation
February 25, 2026
Auteurs: Yue Su, Sijin Chen, Haixin Shi, Mingyu Liu, Zhengshen Zhang, Ningyuan Huang, Weiheng Zhong, Zhengbang Zhu, Yuxiao Liu, Xihui Liu
cs.AI
Samenvatting
Het benutten van toekomstige observatiemodellering om actiegeneratie te vergemakkelijken, biedt een veelbelovende weg om de capaciteiten van Vision-Language-Action (VLA)-modellen te verbeteren. Bestaande methoden slagen er echter niet in een evenwicht te vinden tussen het handhaven van efficiënte, voorspelbare toekomstrepresentaties en het behouden van voldoende fijnmazige informatie om precieze actiegeneratie te sturen. Om deze beperking aan te pakken, stellen we WoG (World Guidance) voor, een raamwerk dat toekomstige observaties afbeeldt op compacte condities door ze in de actie-inferentiepijplijn te injecteren. De VLA wordt vervolgens getraind om deze gecomprimeerde condities gelijktijdig met toekomstige acties te voorspellen, waardoor effectieve wereldmodellering binnen de conditieruimte voor actie-inferentie wordt bereikt. Wij tonen aan dat het modelleren en voorspellen van deze conditieruimte niet alleen fijnmazige actiegeneratie vergemakkelijkt, maar ook superieure generalisatiecapaciteiten vertoont. Bovendien leert het effectief van omvangrijke video's van menselijke manipulatie. Uitgebreide experimenten in zowel simulatie- als real-world omgevingen valideren dat onze methode aanzienlijk beter presteert dan bestaande methoden gebaseerd op toekomstvoorspelling. De projectpagina is beschikbaar op: https://selen-suyue.github.io/WoGNet/
English
Leveraging future observation modeling to facilitate action generation presents a promising avenue for enhancing the capabilities of Vision-Language-Action (VLA) models. However, existing approaches struggle to strike a balance between maintaining efficient, predictable future representations and preserving sufficient fine-grained information to guide precise action generation. To address this limitation, we propose WoG (World Guidance), a framework that maps future observations into compact conditions by injecting them into the action inference pipeline. The VLA is then trained to simultaneously predict these compressed conditions alongside future actions, thereby achieving effective world modeling within the condition space for action inference. We demonstrate that modeling and predicting this condition space not only facilitates fine-grained action generation but also exhibits superior generalization capabilities. Moreover, it learns effectively from substantial human manipulation videos. Extensive experiments across both simulation and real-world environments validate that our method significantly outperforms existing methods based on future prediction. Project page is available at: https://selen-suyue.github.io/WoGNet/