GigaWorld-Policy-0.5: Un WAM más rápido y potente impulsado por AutoResearch

Resumen

Los Modelos de Acción Mundial (WAMs) mejoran el aprendizaje de políticas robóticas al modelar conjuntamente las acciones y las observaciones visuales futuras, utilizando la evolución de la escena futura como supervisión densa para la generación de acciones fundamentadas físicamente. Sin embargo, un diseño común en los WAMs existentes es generar explícitamente videos futuros en el momento de la inferencia, lo que conlleva una sobrecarga computacional considerable y dificulta el despliegue en bucle cerrado en tiempo real. GigaWorld-Policy aborda este problema mediante una formulación centrada en la acción, donde la dinámica visual futura se utiliza durante el entrenamiento, mientras que en la inferencia solo se decodifican las acciones. Sobre la base de este marco, presentamos GigaWorld-Policy-0.5, un WAM mejorado centrado en la acción diseñado para un control robótico más eficiente. Durante el preentrenamiento, GigaWorld-Policy-0.5 adopta una estrategia mixta de Modelado del Mundo Condicionado por la Acción (AC-WM) y entrenamiento WAM. Esto fortalece el acoplamiento entre la dinámica visual y las acciones robóticas, y mejora la transferibilidad de las representaciones de acción para el aprendizaje de políticas posteriores. Para una inferencia eficiente, GigaWorld-Policy-0.5 introduce una arquitectura de Mezcla de Transformadores que separa el modelado de la dinámica visual y la generación de acciones en expertos especializados, reduciendo la computación activa durante la inferencia únicamente de acciones y logrando una latencia de inferencia de 85 ms en una configuración local con RTX 4090. Además, empleamos un pipeline de AutoInvestigación basado en agentes para buscar sistemáticamente configuraciones de entrenamiento, lo que permite una identificación más eficiente de configuraciones experimentales óptimas, al tiempo que reduce el tiempo y la intervención manual necesarios para el ajuste de hiperparámetros. Los experimentos y las ablaciones muestran que GigaWorld-Policy-0.5 preserva los beneficios de entrenamiento de la dinámica visual futura, al tiempo que mejora la eficiencia de inferencia para el control robótico.

English

World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future visual observations, using future scene evolution as dense supervision for physically grounded action generation. However, a common design in existing WAMs is to explicitly generate future videos at inference time, incurring substantial computational overhead and hindering real-time closed-loop deployment. GigaWorld-Policy addresses this issue with an action-centered formulation, where future visual dynamics are used during training while action-only decoding is used at inference time. Building upon this framework, we present GigaWorld-Policy-0.5, an enhanced action-centered WAM designed for more efficient robot control. During pretraining, GigaWorld-Policy-0.5 adopts a mixed Action-Conditioned World Modeling (AC-WM) and WAM training strategy. This strengthens the coupling between visual dynamics and robot actions and improves the transferability of action representations for downstream policy learning. For efficient inference, GigaWorld-Policy-0.5 introduces a Mixture-of-Transformers architecture that separates visual dynamics modeling and action generation into specialized experts, reducing active computation during action-only inference and achieving 85 ms inference latency on a local RTX 4090 setup. In addition, we employ an agent-based AutoResearch pipeline to systematically search training configurations, enabling more efficient identification of optimal experimental setups while reducing the time and manual intervention required for hyperparameter tuning. Experiments and ablations show that GigaWorld-Policy-0.5 preserves the training benefits of future visual dynamics while improving inference efficiency for robot control.