Глобальное руководство: Моделирование мира в пространстве условий для генерации действий

World Guidance: World Modeling in Condition Space for Action Generation

February 25, 2026

Авторы: Yue Su, Sijin Chen, Haixin Shi, Mingyu Liu, Zhengshen Zhang, Ningyuan Huang, Weiheng Zhong, Zhengbang Zhu, Yuxiao Liu, Xihui Liu

cs.AI

Аннотация

Использование моделирования будущих наблюдений для облегчения генерации действий представляет перспективный путь для расширения возможностей моделей Vision-Language-Action (VLA). Однако существующие подходы испытывают трудности с достижением баланса между поддержанием эффективных, предсказуемых представлений будущего и сохранением достаточной детализированной информации для управления точной генерацией действий. Для преодоления этого ограничения мы предлагаем WoG (World Guidance) — фреймворк, который отображает будущие наблюдения в компактные условия путем их инжекции в конвейер вывода действий. Затем модель VLA обучается одновременно предсказывать эти сжатые условия вместе с будущими действиями, достигая тем самым эффективного моделирования мира в пространстве условий для вывода действий. Мы демонстрируем, что моделирование и предсказание этого пространства условий не только способствует детализированной генерации действий, но и проявляет превосходные способности к обобщению. Более того, метод эффективно обучается на обширных видео с демонстрациями манипуляций человеком. Многочисленные эксперименты как в симуляции, так и в реальных условиях подтверждают, что наш метод значительно превосходит существующие подходы, основанные на предсказании будущего. Страница проекта доступна по адресу: https://selen-suyue.github.io/WoGNet/

English

Leveraging future observation modeling to facilitate action generation presents a promising avenue for enhancing the capabilities of Vision-Language-Action (VLA) models. However, existing approaches struggle to strike a balance between maintaining efficient, predictable future representations and preserving sufficient fine-grained information to guide precise action generation. To address this limitation, we propose WoG (World Guidance), a framework that maps future observations into compact conditions by injecting them into the action inference pipeline. The VLA is then trained to simultaneously predict these compressed conditions alongside future actions, thereby achieving effective world modeling within the condition space for action inference. We demonstrate that modeling and predicting this condition space not only facilitates fine-grained action generation but also exhibits superior generalization capabilities. Moreover, it learns effectively from substantial human manipulation videos. Extensive experiments across both simulation and real-world environments validate that our method significantly outperforms existing methods based on future prediction. Project page is available at: https://selen-suyue.github.io/WoGNet/