GigaWorld-Policy: Un Modello Mondo-Azione Efficiente e Centrato sull'Azione

GigaWorld-Policy: An Efficient Action-Centered World--Action Model

March 18, 2026

Autori: Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jie Li, Jindi Lv, Jingyu Liu, Min Cao, Peng Li, Qiuping Deng, Wenjun Mei, Xiaofeng Wang, Xinze Chen, Xinyu Zhou, Yang Wang, Yifan Chang, Yifan Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu

cs.AI

Abstract

I modelli World-Action (WAM) inizializzati da backbone pre-addestrate per la generazione video hanno dimostrato un potenziale notevole per l'apprendimento di politiche robotiche. Tuttavia, gli approcci esistenti affrontano due colli di bottiglia critici che ne ostacolano le prestazioni e l'implementazione. In primo luogo, il ragionamento congiunto sulle dinamiche visive future e sulle azioni corrispondenti comporta un sovraccarico computazionale sostanziale durante l'inferenza. In secondo luogo, la modellazione congiunta spesso intreccia le rappresentazioni visive e di movimento, rendendo l'accuratezza della previsione del movimento fortemente dipendente dalla qualità delle previsioni video future. Per affrontare questi problemi, introduciamo GigaWorld-Policy, un WAM centrato sull'azione che apprende le dinamiche pixel-azione 2D consentendo al contempo una decodifica efficiente delle azioni, con generazione video opzionale. Nello specifico, formuliamo l'addestramento della politica in due componenti accoppiate: il modello prevede sequenze di azioni future condizionate dall'osservazione corrente e, simultaneamente, genera video futuri condizionati dalle azioni previste e dalla stessa osservazione. La politica è supervisionata sia dalla previsione delle azioni che dalla generazione video, fornendo segnali di apprendimento più ricchi e incoraggiando azioni fisicamente plausibili attraverso vincoli di dinamica visiva. Con un design causale che impedisce ai token video futuri di influenzare i token azione, la generazione esplicita di video futuri è opzionale in fase di inferenza, consentendo una previsione delle azioni più rapida durante l'implementazione. Per supportare questo paradigma, abbiamo curato un dataset robotico su larga scala e diversificato per pre-addestrare un modello di generazione video centrato sull'azione, che viene poi adattato come backbone per l'apprendimento di politiche robotiche. I risultati sperimentali su piattaforme robotiche del mondo reale mostrano che GigaWorld-Policy è eseguito 9 volte più velocemente del principale baseline WAM, Motus, migliorando al contempo i tassi di successo del compito del 7%. Inoltre, rispetto a pi-0.5, GigaWorld-Policy migliora le prestazioni del 95% su RoboTwin 2.0.

English

World-Action Models (WAM) initialized from pre-trained video generation backbones have demonstrated remarkable potential for robot policy learning. However, existing approaches face two critical bottlenecks that hinder performance and deployment. First, jointly reasoning over future visual dynamics and corresponding actions incurs substantial inference overhead. Second, joint modeling often entangles visual and motion representations, making motion prediction accuracy heavily dependent on the quality of future video forecasts. To address these issues, we introduce GigaWorld-Policy, an action-centered WAM that learns 2D pixel-action dynamics while enabling efficient action decoding, with optional video generation. Specifically, we formulate policy training into two coupled components: the model predicts future action sequences conditioned on the current observation, and simultaneously generates future videos conditioned on the predicted actions and the same observation. The policy is supervised by both action prediction and video generation, providing richer learning signals and encouraging physically plausible actions through visual-dynamics constraints. With a causal design that prevents future-video tokens from influencing action tokens, explicit future-video generation is optional at inference time, allowing faster action prediction during deployment. To support this paradigm, we curate a diverse, large-scale robot dataset to pre-train an action-centered video generation model, which is then adapted as the backbone for robot policy learning. Experimental results on real-world robotic platforms show that GigaWorld-Policy runs 9x faster than the leading WAM baseline, Motus, while improving task success rates by 7%. Moreover, compared with pi-0.5, GigaWorld-Policy improves performance by 95% on RoboTwin 2.0.