ABot-M0.5: Modelo de Ação Mundial Unificado para Mobilidade e Manipulação

Resumo

A manipulação móvel é uma capacidade essencial para robôs de uso geral, mas ainda representa um desafio para os métodos atuais de aprendizado corporificado. As políticas VLA são tipicamente reativas e carecem de modelagem explícita do mundo, enquanto os Modelos de Ação Mundial (WAMs) existentes ainda são pouco alinhados com a estrutura da manipulação móvel: eles operam em segmentos grossos de vídeo, modelam ações de navegação-manipulação entrelaçadas e treinam dinâmica inversa sob supervisão que não corresponde à inferência autorregressiva. Como consequência, frequentemente perdem dinâmicas de contato sutis, sofrem conflitos de distribuição de ações e acumulam erros ao longo de desdobramentos de horizonte longo. Propomos o ABot-M0.5, um novo WAM construído sobre a percepção de que a manipulação móvel requer alinhamento em três níveis: granularidade temporal, espaço de ações e consistência treino-teste. Para alinhar a granularidade temporal, introduzimos ações latentes intermediárias que capturam transições locais do estado visual e servem como um espaço de ação ponte entre latentes de vídeo e controles específicos da corporificação. Para alinhar o espaço de ações, projetamos uma arquitetura de Mistura de Transformadores de dois níveis que desembaraça tanto representações de modalidade quanto subespaços de ação heterogêneos, como movimento da base e manipulação do braço. Para alinhar as condições de inferência, propomos a estratégia de treinamento dream-forcing, que treina progressivamente a dinâmica inversa em vídeos previstos pelo modelo, melhorando o alinhamento treino-teste e a robustez durante a predição autorregressiva. Experimentos em benchmarks desafiadores de manipulação móvel e de precisão fina demonstram que o ABot-M0.5 alcança desempenho de ponta tanto no sucesso de tarefas de horizonte longo quanto na precisão do controle refinado. Esses resultados destacam a importância crítica da modelagem de ação-mundo alinhada à granularidade, desembaraçada de ações e consistente com a inferência.

English

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.