GigaWorld-Policy: Um Modelo Mundo-Ação Eficiente e Centrado na Ação
GigaWorld-Policy: An Efficient Action-Centered World--Action Model
March 18, 2026
Autores: Angen Ye, Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jie Li, Jindi Lv, Jingyu Liu, Min Cao, Peng Li, Qiuping Deng, Wenjun Mei, Xiaofeng Wang, Xinze Chen, Xinyu Zhou, Yang Wang, Yifan Chang, Yifan Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu
cs.AI
Resumo
Os Modelos de Ação-Mundo (WAM) inicializados a partir de backbones de geração de vídeo pré-treinados demonstraram potencial notável para a aprendizagem de políticas robóticas. No entanto, as abordagens existentes enfrentam dois gargalos críticos que prejudicam o desempenho e a implantação. Primeiro, o raciocínio conjunto sobre a dinâmica visual futura e as ações correspondentes incorre em uma sobrecarga substancial de inferência. Segundo, a modelagem conjunta frequentemente entrelaça as representações visual e de movimento, fazendo com que a precisão da previsão de movimento dependa fortemente da qualidade das previsões de vídeo futuras. Para resolver essas questões, introduzimos o GigaWorld-Policy, um WAM centrado na ação que aprende dinâmicas pixel-ação 2D, permitindo uma decodificação de ação eficiente, com geração de vídeo opcional. Especificamente, formulamos o treino da política em dois componentes acoplados: o modelo prevê sequências de ações futuras condicionadas pela observação atual e, simultaneamente, gera vídeos futuros condicionados pelas ações previstas e pela mesma observação. A política é supervisionada tanto pela previsão de ação quanto pela geração de vídeo, fornecendo sinais de aprendizagem mais ricos e incentivando ações fisicamente plausíveis através de restrições de dinâmica visual. Com um design causal que impede que *tokens* de vídeo futuro influenciem os *tokens* de ação, a geração explícita de vídeo futuro é opcional no momento da inferência, permitindo uma previsão de ação mais rápida durante a implantação. Para suportar este paradigma, curadamos um conjunto de dados robótico diversificado e em larga escala para pré-treinar um modelo de geração de vídeo centrado na ação, que é então adaptado como *backbone* para a aprendizagem de políticas robóticas. Resultados experimentais em plataformas robóticas do mundo real mostram que o GigaWorld-Policy é executado 9 vezes mais rápido do que a principal baseline de WAM, o Motus, enquanto aumenta as taxas de sucesso de tarefas em 7%. Além disso, em comparação com o pi-0.5, o GigaWorld-Policy melhora o desempenho em 95% no RoboTwin 2.0.
English
World-Action Models (WAM) initialized from pre-trained video generation backbones have demonstrated remarkable potential for robot policy learning. However, existing approaches face two critical bottlenecks that hinder performance and deployment. First, jointly reasoning over future visual dynamics and corresponding actions incurs substantial inference overhead. Second, joint modeling often entangles visual and motion representations, making motion prediction accuracy heavily dependent on the quality of future video forecasts. To address these issues, we introduce GigaWorld-Policy, an action-centered WAM that learns 2D pixel-action dynamics while enabling efficient action decoding, with optional video generation. Specifically, we formulate policy training into two coupled components: the model predicts future action sequences conditioned on the current observation, and simultaneously generates future videos conditioned on the predicted actions and the same observation. The policy is supervised by both action prediction and video generation, providing richer learning signals and encouraging physically plausible actions through visual-dynamics constraints. With a causal design that prevents future-video tokens from influencing action tokens, explicit future-video generation is optional at inference time, allowing faster action prediction during deployment. To support this paradigm, we curate a diverse, large-scale robot dataset to pre-train an action-centered video generation model, which is then adapted as the backbone for robot policy learning. Experimental results on real-world robotic platforms show that GigaWorld-Policy runs 9x faster than the leading WAM baseline, Motus, while improving task success rates by 7%. Moreover, compared with pi-0.5, GigaWorld-Policy improves performance by 95% on RoboTwin 2.0.