GigaWorld-Policy: Ein effizientes aktionszentriertes Welt-Aktions-Modell
GigaWorld-Policy: An Efficient Action-Centered World--Action Model
March 18, 2026
Autoren: Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jie Li, Jindi Lv, Jingyu Liu, Min Cao, Peng Li, Qiuping Deng, Wenjun Mei, Xiaofeng Wang, Xinze Chen, Xinyu Zhou, Yang Wang, Yifan Chang, Yifan Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu
cs.AI
Zusammenfassung
World-Action-Modelle (WAM), die mit vortrainierten Videogenerierungs-Backbones initialisiert werden, haben ein bemerkenswertes Potenzial für das Erlernen von Robotik-Policies gezeigt. Bestehende Ansätze stehen jedoch vor zwei kritischen Engpässen, die Leistung und Einsatzfähigkeit beeinträchtigen. Erstens verursacht die gemeinsame Betrachtung zukünftiger visueller Dynamiken und entsprechender Aktionen einen erheblichen Inferenz-Overhead. Zweitens führt die gemeinsame Modellierung oft zu einer Vermischung visueller und Bewegungsrepräsentationen, wodurch die Genauigkeit der Bewegungsvorhersage stark von der Qualität der zukünftigen Videovorhersagen abhängt. Um diese Probleme zu adressieren, stellen wir GigaWorld-Policy vor, ein aktionszentriertes WAM, das 2D-Pixel-Aktions-Dynamiken erlernt und gleichzeitig eine effiziente Aktionsdekodierung mit optionaler Videogenerierung ermöglicht. Konkret gliedern wir das Policy-Training in zwei gekoppelte Komponenten: Das Modell sagt zukünftige Aktionssequenzen auf Basis der aktuellen Beobachtung vorher und generiert gleichzeitig zukünftige Videos, die auf den vorhergesagten Aktionen und derselben Beobachtung basieren. Die Policy wird durch sowohl Aktionsvorhersage als auch Videogenerierung überwacht, was reichhaltigere Lernsignale liefert und physikalisch plausible Aktionen durch visuell-dynamische Randbedingungen fördert. Durch einen kausalen Aufbau, der verhindert, dass zukünftige Video-Tokens Aktions-Tokens beeinflussen, ist die explizite Generierung zukünftiger Videos zum Inferenzzeitpunkt optional, was eine schnellere Aktionsvorhersage während des Einsatzes erlaubt. Um dieses Paradigma zu unterstützen, haben wir einen diversen, großangelegten Robotik-Datensatz kuratiert, um ein aktionszentriertes Videogenerierungsmodell vorzutrainieren, das dann als Backbone für das Robotik-Policy-Lernen adaptiert wird. Experimentelle Ergebnisse auf realen Robotik-Plattformen zeigen, dass GigaWorld-Policy 9-mal schneller läuft als der führende WAM-Baseline, Motus, und dabei die Aufgaben-Erfolgsrate um 7 % steigert. Darüber hinaus verbessert GigaWorld-Policy die Leistung im Vergleich zu pi-0,5 auf RoboTwin 2.0 um 95 %.
English
World-Action Models (WAM) initialized from pre-trained video generation backbones have demonstrated remarkable potential for robot policy learning. However, existing approaches face two critical bottlenecks that hinder performance and deployment. First, jointly reasoning over future visual dynamics and corresponding actions incurs substantial inference overhead. Second, joint modeling often entangles visual and motion representations, making motion prediction accuracy heavily dependent on the quality of future video forecasts. To address these issues, we introduce GigaWorld-Policy, an action-centered WAM that learns 2D pixel-action dynamics while enabling efficient action decoding, with optional video generation. Specifically, we formulate policy training into two coupled components: the model predicts future action sequences conditioned on the current observation, and simultaneously generates future videos conditioned on the predicted actions and the same observation. The policy is supervised by both action prediction and video generation, providing richer learning signals and encouraging physically plausible actions through visual-dynamics constraints. With a causal design that prevents future-video tokens from influencing action tokens, explicit future-video generation is optional at inference time, allowing faster action prediction during deployment. To support this paradigm, we curate a diverse, large-scale robot dataset to pre-train an action-centered video generation model, which is then adapted as the backbone for robot policy learning. Experimental results on real-world robotic platforms show that GigaWorld-Policy runs 9x faster than the leading WAM baseline, Motus, while improving task success rates by 7%. Moreover, compared with pi-0.5, GigaWorld-Policy improves performance by 95% on RoboTwin 2.0.