ABot-M0.5 : Modèle d'Action du Monde Unifié de Mobilité et de Manipulation

Résumé

La manipulation mobile est une capacité clé pour les robots généralistes, mais elle reste difficile à réaliser avec les méthodes actuelles d'apprentissage incarné. Les politiques VLA sont généralement réactives et manquent d'une modélisation explicite du monde, tandis que les Modèles d'Action Mondiaux (WAM) existants sont encore mal alignés sur la structure de la manipulation mobile : ils opèrent sur des blocs vidéo grossiers, modélisent des actions de navigation et de manipulation entremêlées, et entraînent la dynamique inverse sous une supervision qui ne correspond pas à l'inférence autorégressive. En conséquence, ils manquent souvent les dynamiques de contact fines, souffrent de conflits de distribution d'actions, et accumulent des erreurs lors de déploiements à long horizon. Nous proposons ABot-M0.5, un nouveau WAM construit sur la constatation que la manipulation mobile nécessite un alignement à trois niveaux : la granularité temporelle, l'espace d'action, et la cohérence entre entraînement et test. Pour aligner la granularité temporelle, nous introduisons des actions latentes intermédiaires qui capturent les transitions locales d'état visuel et servent d'espace d'action pont entre les latents vidéo et les commandes spécifiques à l'incarnation. Pour aligner l'espace d'action, nous concevons une architecture à double niveau de Mixture-of-Transformers qui désentrelace à la fois les représentations modales et les sous-espaces d'action hétérogènes tels que le mouvement de la base et la manipulation du bras. Pour aligner les conditions d'inférence, nous proposons la stratégie d'entraînement dream-forcing qui entraîne progressivement la dynamique inverse sur des vidéos prédites par le modèle, améliorant l'alignement entraînement-test et la robustesse lors de la prédiction autorégressive. Des expériences sur des benchmarks exigeants de manipulation mobile et fine démontrent qu'ABot-M0.5 atteint des performances à l'état de l'art à la fois en termes de succès de tâches à long horizon et de précision de contrôle fin. Ces résultats soulignent l'importance cruciale d'une modélisation monde-action alignée en granularité, désentrelacée en actions, et cohérente en inférence.

English

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.