ABot-M0.5: Modelo de Acción Mundial Unificado de Movilidad y Manipulación

Resumen

La manipulación móvil es una capacidad clave para robots de propósito general, pero sigue siendo un desafío para los métodos actuales de aprendizaje encarnado. Las políticas VLA son típicamente reactivas y carecen de modelado explícito del mundo, mientras que los Modelos de Acción del Mundo (WAM) existentes aún están mal alineados con la estructura de la manipulación móvil: operan sobre segmentos de video gruesos, modelan acciones de navegación-manipulación entrelazadas y entrenan dinámicas inversas bajo una supervisión que no coincide con la inferencia autorregresiva. Como resultado, a menudo pierden dinámicas de contacto de grano fino, sufren conflictos de distribución de acciones y acumulan errores a lo largo de despliegues de largo horizonte. Proponemos ABot-M0.5, un nuevo WAM construido sobre la idea de que la manipulación móvil requiere alineación en tres niveles: granularidad temporal, espacio de acción y consistencia entre entrenamiento y prueba. Para alinear la granularidad temporal, introducimos acciones latentes intermedias que capturan transiciones de estado visual local y sirven como un espacio de acción puente entre los latentes de video y los controles específicos de la encarnación. Para alinear el espacio de acción, diseñamos una arquitectura de Mezcla de Transformadores de dos niveles que desenreda tanto las representaciones de modalidad como los subespacios de acción heterogéneos, como el movimiento de la base y la manipulación del brazo. Para alinear las condiciones de inferencia, proponemos la estrategia de entrenamiento dream-forcing, que entrena progresivamente la dinámica inversa sobre videos predichos por el modelo, mejorando la alineación entrenamiento-prueba y la robustez durante la predicción autorregresiva. Experimentos en puntos de referencia desafiantes de manipulación móvil y de grano fino demuestran que ABot-M0.5 alcanza un rendimiento de vanguardia tanto en el éxito de tareas de largo horizonte como en la precisión de control de grano fino. Estos resultados resaltan la importancia crítica del modelado de acción-mundo alineado con la granularidad, desenredado de acciones y consistente con la inferencia.

English

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.