GigaWorld-Policy-0.5: Более быстрый и сильный WAM, созданный с помощью AutoResearch

Аннотация

Модели мировых действий (WAM) улучшают обучение политик роботов за счет совместного моделирования действий и будущих визуальных наблюдений, используя эволюцию будущей сцены в качестве плотного контроля для генерации физически обоснованных действий. Однако распространенным подходом в существующих WAM является явная генерация будущих видео на этапе логического вывода, что приводит к значительным вычислительным затратам и препятствует развертыванию в реальном времени в замкнутом контуре. GigaWorld-Policy решает эту проблему с помощью формулировки, ориентированной на действия, где будущая визуальная динамика используется во время обучения, а на этапе логического вывода применяется декодирование только действий. Опираясь на эту основу, мы представляем GigaWorld-Policy-0.5 — улучшенную ориентированную на действия WAM, предназначенную для более эффективного управления роботами. В ходе предварительного обучения GigaWorld-Policy-0.5 использует смешанную стратегию моделирования мира, обусловленного действиями (AC-WM), и обучения WAM. Это укрепляет связь между визуальной динамикой и действиями робота, а также улучшает переносимость представлений действий для последующего обучения политикам. Для эффективного логического вывода GigaWorld-Policy-0.5 внедряет архитектуру Mixture-of-Transformers, которая разделяет моделирование визуальной динамики и генерацию действий на специализированные эксперты, сокращая активные вычисления при выводе только действий и достигая задержки вывода 85 мс на локальной конфигурации с RTX 4090. Кроме того, мы применяем агентный конвейер AutoResearch для систематического поиска конфигураций обучения, что позволяет более эффективно определять оптимальные экспериментальные настройки, сокращая время и ручное вмешательство, необходимые для настройки гиперпараметров. Эксперименты и абляции показывают, что GigaWorld-Policy-0.5 сохраняет преимущества обучения, связанные с будущей визуальной динамикой, одновременно повышая эффективность логического вывода для управления роботами.

English

World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future visual observations, using future scene evolution as dense supervision for physically grounded action generation. However, a common design in existing WAMs is to explicitly generate future videos at inference time, incurring substantial computational overhead and hindering real-time closed-loop deployment. GigaWorld-Policy addresses this issue with an action-centered formulation, where future visual dynamics are used during training while action-only decoding is used at inference time. Building upon this framework, we present GigaWorld-Policy-0.5, an enhanced action-centered WAM designed for more efficient robot control. During pretraining, GigaWorld-Policy-0.5 adopts a mixed Action-Conditioned World Modeling (AC-WM) and WAM training strategy. This strengthens the coupling between visual dynamics and robot actions and improves the transferability of action representations for downstream policy learning. For efficient inference, GigaWorld-Policy-0.5 introduces a Mixture-of-Transformers architecture that separates visual dynamics modeling and action generation into specialized experts, reducing active computation during action-only inference and achieving 85 ms inference latency on a local RTX 4090 setup. In addition, we employ an agent-based AutoResearch pipeline to systematically search training configurations, enabling more efficient identification of optimal experimental setups while reducing the time and manual intervention required for hyperparameter tuning. Experiments and ablations show that GigaWorld-Policy-0.5 preserves the training benefits of future visual dynamics while improving inference efficiency for robot control.