ワールドガイダンス：行動生成のための条件空間における世界モデリング

要旨

将来の観測モデリングを活用した行動生成は、Vision-Language-Action（VLA）モデルの能力を強化する有望な手法である。しかし、既存のアプローチでは、効率的で予測可能な未来表現を維持することと、精密な行動生成を導くのに十分な細粒度の情報を保存することのバランスをうまく取れていない。この課題を解決するため、我々は将来の観測を行動推論パイプラインに注入することでコンパクトな条件へ写像するフレームワーク、WoG（World Guidance）を提案する。VLAは、これらの圧縮された条件と将来の行動を同時に予測するように訓練され、それにより行動推論のための条件空間内で効果的な世界モデリングを実現する。この条件空間のモデリングと予測が、細粒度の行動生成を促進するだけでなく、優れた汎化能力も示すことを実証する。さらに、大量の人間の操作動画から効果的に学習する。シミュレーションと実世界環境の両方における広範な実験により、本手法が将来予測に基づく既存手法を大幅に上回ることを検証する。プロジェクトページは以下で公開されている：https://selen-suyue.github.io/WoGNet/

English

Leveraging future observation modeling to facilitate action generation presents a promising avenue for enhancing the capabilities of Vision-Language-Action (VLA) models. However, existing approaches struggle to strike a balance between maintaining efficient, predictable future representations and preserving sufficient fine-grained information to guide precise action generation. To address this limitation, we propose WoG (World Guidance), a framework that maps future observations into compact conditions by injecting them into the action inference pipeline. The VLA is then trained to simultaneously predict these compressed conditions alongside future actions, thereby achieving effective world modeling within the condition space for action inference. We demonstrate that modeling and predicting this condition space not only facilitates fine-grained action generation but also exhibits superior generalization capabilities. Moreover, it learns effectively from substantial human manipulation videos. Extensive experiments across both simulation and real-world environments validate that our method significantly outperforms existing methods based on future prediction. Project page is available at: https://selen-suyue.github.io/WoGNet/

ワールドガイダンス：行動生成のための条件空間における世界モデリング

World Guidance: World Modeling in Condition Space for Action Generation

要旨

Support