GigaWorld-Policy : Un modèle monde-action efficace centré sur l'action

GigaWorld-Policy: An Efficient Action-Centered World--Action Model

March 18, 2026

Auteurs: Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jie Li, Jindi Lv, Jingyu Liu, Min Cao, Peng Li, Qiuping Deng, Wenjun Mei, Xiaofeng Wang, Xinze Chen, Xinyu Zhou, Yang Wang, Yifan Chang, Yifan Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu

cs.AI

Résumé

Les modèles monde-action (WAM) initialisés à partir de modèles de génération vidéo pré-entraînés ont démontré un potentiel remarquable pour l'apprentissage de politiques robotiques. Cependant, les approches existantes rencontrent deux goulots d'étranglement critiques qui entravent les performances et le déploiement. Premièrement, le raisonnement conjoint sur la dynamique visuelle future et les actions correspondantes induit une surcharge computationnelle importante lors de l'inférence. Deuxièmement, la modélisation conjointe entremêle souvent les représentations visuelles et motrices, rendant la précision de la prédiction du mouvement fortement dépendante de la qualité des prévisions vidéo futures. Pour résoudre ces problèmes, nous présentons GigaWorld-Policy, un WAM centré sur l'action qui apprend la dynamique pixel-action 2D tout en permettant un décodage d'action efficace, avec une génération vidéo optionnelle. Concrètement, nous formulons l'entraînement de la politique en deux composantes couplées : le modèle prédit les séquences d'actions futures conditionnées par l'observation actuelle, et génère simultanément des vidéos futures conditionnées par les actions prédites et la même observation. La politique est supervisée à la fois par la prédiction d'actions et la génération vidéo, fournissant des signaux d'apprentissage plus riches et encourageant des actions physiquement plausibles grâce à des contraintes de dynamique visuelle. Grâce à une conception causale qui empêche les tokens vidéo futurs d'influencer les tokens d'action, la génération explicite de vidéos futures est optionnelle au moment de l'inférence, permettant une prédiction d'action plus rapide lors du déploiement. Pour soutenir ce paradigme, nous avons constitué un jeu de données robotique diversifié et à grande échelle pour pré-entraîner un modèle de génération vidéo centré sur l'action, qui est ensuite adapté comme backbone pour l'apprentissage de politiques robotiques. Les résultats expérimentaux sur des plateformes robotiques réelles montrent que GigaWorld-Policy fonctionne 9 fois plus vite que le principal modèle de référence WAM, Motus, tout en améliorant les taux de réussite des tâches de 7 %. De plus, par rapport à pi-0.5, GigaWorld-Policy ammente les performances de 95 % sur RoboTwin 2.0.

English

World-Action Models (WAM) initialized from pre-trained video generation backbones have demonstrated remarkable potential for robot policy learning. However, existing approaches face two critical bottlenecks that hinder performance and deployment. First, jointly reasoning over future visual dynamics and corresponding actions incurs substantial inference overhead. Second, joint modeling often entangles visual and motion representations, making motion prediction accuracy heavily dependent on the quality of future video forecasts. To address these issues, we introduce GigaWorld-Policy, an action-centered WAM that learns 2D pixel-action dynamics while enabling efficient action decoding, with optional video generation. Specifically, we formulate policy training into two coupled components: the model predicts future action sequences conditioned on the current observation, and simultaneously generates future videos conditioned on the predicted actions and the same observation. The policy is supervised by both action prediction and video generation, providing richer learning signals and encouraging physically plausible actions through visual-dynamics constraints. With a causal design that prevents future-video tokens from influencing action tokens, explicit future-video generation is optional at inference time, allowing faster action prediction during deployment. To support this paradigm, we curate a diverse, large-scale robot dataset to pre-train an action-centered video generation model, which is then adapted as the backbone for robot policy learning. Experimental results on real-world robotic platforms show that GigaWorld-Policy runs 9x faster than the leading WAM baseline, Motus, while improving task success rates by 7%. Moreover, compared with pi-0.5, GigaWorld-Policy improves performance by 95% on RoboTwin 2.0.