GigaWorld-Policy-0.5: Um WAM mais rápido e mais forte potencializado pelo AutoResearch

Resumo

Modelos de Ação do Mundo (WAMs) melhoram o aprendizado de políticas de robôs ao modelar conjuntamente ações e observações visuais futuras, utilizando a evolução da cena futura como supervisão densa para a geração de ações fundamentadas fisicamente. No entanto, um projeto comum nos WAMs existentes é gerar explicitamente vídeos futuros no momento da inferência, incorrendo em uma carga computacional substancial e dificultando a implantação em tempo real em malha fechada. O GigaWorld-Policy aborda esse problema com uma formulação centrada na ação, onde a dinâmica visual futura é utilizada durante o treinamento, enquanto a decodificação apenas de ações é empregada na inferência. Com base nessa estrutura, apresentamos o GigaWorld-Policy-0.5, um WAM centrado na ação aprimorado, projetado para um controle robótico mais eficiente. Durante o pré-treinamento, o GigaWorld-Policy-0.5 adota uma estratégia mista de Modelagem do Mundo Condicionada à Ação (AC-WM) e treinamento WAM. Isso fortalece o acoplamento entre a dinâmica visual e as ações do robô e melhora a transferibilidade das representações de ação para o aprendizado de políticas downstream. Para inferência eficiente, o GigaWorld-Policy-0.5 introduz uma arquitetura Mixture-of-Transformers que separa a modelagem da dinâmica visual e a geração de ações em especialistas dedicados, reduzindo a computação ativa durante a inferência apenas de ações e alcançando uma latência de inferência de 85 ms em uma configuração local com RTX 4090. Além disso, empregamos um pipeline AutoResearch baseado em agente para buscar sistematicamente configurações de treinamento, permitindo uma identificação mais eficiente de configurações experimentais ideais, ao mesmo tempo que reduz o tempo e a intervenção manual necessários para o ajuste de hiperparâmetros. Experimentos e ablações mostram que o GigaWorld-Policy-0.5 preserva os benefícios do treinamento com dinâmica visual futura, ao mesmo tempo que melhora a eficiência de inferência para o controle robótico.

English

World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future visual observations, using future scene evolution as dense supervision for physically grounded action generation. However, a common design in existing WAMs is to explicitly generate future videos at inference time, incurring substantial computational overhead and hindering real-time closed-loop deployment. GigaWorld-Policy addresses this issue with an action-centered formulation, where future visual dynamics are used during training while action-only decoding is used at inference time. Building upon this framework, we present GigaWorld-Policy-0.5, an enhanced action-centered WAM designed for more efficient robot control. During pretraining, GigaWorld-Policy-0.5 adopts a mixed Action-Conditioned World Modeling (AC-WM) and WAM training strategy. This strengthens the coupling between visual dynamics and robot actions and improves the transferability of action representations for downstream policy learning. For efficient inference, GigaWorld-Policy-0.5 introduces a Mixture-of-Transformers architecture that separates visual dynamics modeling and action generation into specialized experts, reducing active computation during action-only inference and achieving 85 ms inference latency on a local RTX 4090 setup. In addition, we employ an agent-based AutoResearch pipeline to systematically search training configurations, enabling more efficient identification of optimal experimental setups while reducing the time and manual intervention required for hyperparameter tuning. Experiments and ablations show that GigaWorld-Policy-0.5 preserves the training benefits of future visual dynamics while improving inference efficiency for robot control.