ABot-M0.5: Унифицированная мировая модель действий для мобильности и манипуляции

Аннотация

Мобильная манипуляция является ключевой способностью для роботов общего назначения, однако она остается сложной задачей для современных методов воплощенного обучения. Политики VLA, как правило, реактивны и лишены явного моделирования мира, в то время как существующие Мировые модели действий (WAMs) все еще плохо согласованы со структурой мобильной манипуляции: они работают с крупными видеосегментами, моделируют связанные действия навигации и манипуляции, а обучают обратную динамику под наблюдением, не соответствующим авторегрессионному выводу. В результате они часто упускают тонкую динамику контактов, страдают от конфликтов распределения действий и накапливают ошибки при длительных развертываниях. Мы предлагаем ABot-M0.5 — новую WAM, основанную на понимании того, что мобильная манипуляция требует согласования на трех уровнях: временной детализации, пространства действий и согласованности обучения и тестирования. Для согласования временной детализации мы вводим промежуточные латентные действия, которые фиксируют локальные переходы визуальных состояний и служат связующим пространством действий между видеолатентами и специфичными для воплощения контроллерами. Для согласования пространства действий мы проектируем двухуровневую архитектуру смеси трансформеров, разделяющую как модальные представления, так и гетерогенные подпространства действий, такие как перемещение базы и манипуляции рукой. Для согласования условий вывода мы предлагаем стратегию обучения dream-forcing, которая постепенно обучает обратную динамику на предсказанных моделью видео, улучшая согласованность обучения и тестирования, а также устойчивость при авторегрессионном прогнозировании. Эксперименты на сложных эталонах мобильной и тонкой манипуляции показывают, что ABot-M0.5 достигает передовой производительности как в успешности долгосрочных задач, так и в точности тонкого управления. Эти результаты подчеркивают критическую важность моделирования мира и действий, согласованного по детализации, развязанного по действиям и последовательного при выводе.

English

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.