GigaWorld-Policy: Een Efficiënt Actie-Gecentreerd Wereld-Actie-Model

GigaWorld-Policy: An Efficient Action-Centered World--Action Model

March 18, 2026

Auteurs: Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jie Li, Jindi Lv, Jingyu Liu, Min Cao, Peng Li, Qiuping Deng, Wenjun Mei, Xiaofeng Wang, Xinze Chen, Xinyu Zhou, Yang Wang, Yifan Chang, Yifan Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu

cs.AI

Samenvatting

World-Action Models (WAM's) die zijn geïnitialiseerd vanuit vooraf getrainde videogeneratie-backbones hebben een opmerkelijk potentieel getoond voor het leren van robotbeleid. Bestaande benaderingen kampen echter met twee kritieke knelpunten die de prestaties en implementatie belemmeren. Ten eerste brengt het gezamenlijk redeneren over toekomstige visuele dynamiek en bijbehorende acties aanzienlijke inferentie-overhead met zich mee. Ten tweede zorgt gezamenlijke modellering vaak voor een verstrengeling van visuele en bewegingsrepresentaties, waardoor de nauwkeurigheid van bewegingsvoorspelling sterk afhankelijk wordt van de kwaliteit van toekomstige videovoorspellingen. Om deze problemen aan te pakken, introduceren we GigaWorld-Policy, een actiegecentreerd WAM dat 2D pixel-actie-dynamiek leert, terwijl het efficiënte actiedecodering mogelijk maakt, met optionele videogeneratie. Specifiek formuleren we beleidstraining in twee gekoppelde componenten: het model voorspelt toekomstige actiesequenties conditioneel op de huidige observatie, en genereert tegelijkertijd toekomstige video's conditioneel op de voorspelde acties en dezelfde observatie. Het beleid wordt gesuperviseerd door zowel actievoorspelling als videogeneratie, wat rijkere leersignalen biedt en fysiek plausibele acties aanmoedigt door visueel-dynamische beperkingen. Met een causaal ontwerp dat voorkomt dat toekomstige videotokens de actietokens beïnvloeden, is expliciete toekomstige videogeneratie optioneel tijdens de inferentiefase, wat snellere actievoorspelling mogelijk maakt tijdens de implementatie. Om dit paradigma te ondersteunen, hebben we een diverse, grootschalige robotdataset samengesteld om een actiegecentreerd videogeneratiemodel voor te trainen, dat vervolgens wordt aangepast als de backbone voor het leren van robotbeleid. Experimentele resultaten op echte robotplatforms tonen aan dat GigaWorld-Policy 9x sneller loopt dan de toonaangevende WAM-baseline, Motus, terwijl het de taaksuccespercentages met 7% verbetert. Bovendien verbetert GigaWorld-Policy de prestaties met 95% op RoboTwin 2.0 in vergelijking met pi-0.5.

English

World-Action Models (WAM) initialized from pre-trained video generation backbones have demonstrated remarkable potential for robot policy learning. However, existing approaches face two critical bottlenecks that hinder performance and deployment. First, jointly reasoning over future visual dynamics and corresponding actions incurs substantial inference overhead. Second, joint modeling often entangles visual and motion representations, making motion prediction accuracy heavily dependent on the quality of future video forecasts. To address these issues, we introduce GigaWorld-Policy, an action-centered WAM that learns 2D pixel-action dynamics while enabling efficient action decoding, with optional video generation. Specifically, we formulate policy training into two coupled components: the model predicts future action sequences conditioned on the current observation, and simultaneously generates future videos conditioned on the predicted actions and the same observation. The policy is supervised by both action prediction and video generation, providing richer learning signals and encouraging physically plausible actions through visual-dynamics constraints. With a causal design that prevents future-video tokens from influencing action tokens, explicit future-video generation is optional at inference time, allowing faster action prediction during deployment. To support this paradigm, we curate a diverse, large-scale robot dataset to pre-train an action-centered video generation model, which is then adapted as the backbone for robot policy learning. Experimental results on real-world robotic platforms show that GigaWorld-Policy runs 9x faster than the leading WAM baseline, Motus, while improving task success rates by 7%. Moreover, compared with pi-0.5, GigaWorld-Policy improves performance by 95% on RoboTwin 2.0.