ABot-M0.5: Vereinheitlichtes Mobilitäts- und Manipulations-Weltaktionsmodell

Zusammenfassung

Mobile Manipulation ist eine Schlüsselfähigkeit für Allzweckroboter, bleibt jedoch für aktuelle Methoden des verkörperten Lernens weiterhin herausfordernd. VLA-Policys sind typischerweise reaktiv und entbehren expliziter Weltmodellierung, während bestehende Weltaktionsmodelle (WAMs) noch schlecht an die Struktur mobiler Manipulation angepasst sind: Sie operieren auf groben Videosegmenten, modellieren verschränkte Navigations-Manipulations-Aktionen und trainieren inverse Dynamik unter einer Überwachung, die nicht mit der autoregressiven Inferenz übereinstimmt. Infolgedessen übersehen sie oft feinkörnige Kontaktdynamiken, leiden unter Aktionsverteilungskonflikten und häufen über langfristige Rollouts Fehler an. Wir schlagen ABot-M0.5 vor, ein neues WAM, das auf der Erkenntnis basiert, dass mobile Manipulation eine Ausrichtung auf drei Ebenen erfordert: zeitliche Granularität, Aktionsraum und Trainings-Test-Konsistenz. Zur Ausrichtung der zeitlichen Granularität führen wir intermediäre latente Aktionen ein, die lokale visuelle Zustandsübergänge erfassen und als Brückenaktionsraum zwischen Video-Latenten und körperspezifischen Steuerungen dienen. Zur Ausrichtung des Aktionsraums entwerfen wir eine zweistufige Mixture-of-Transformers-Architektur, die sowohl Modalitätsrepräsentationen als auch heterogene Aktionsunterräume wie Basisbewegung und Armmanipulation entflechtet. Zur Ausrichtung der Inferenzbedingungen schlagen wir die Dream-Forcing-Trainingsstrategie vor, die inverse Dynamik schrittweise auf modellvorhergesagten Videos trainiert und so die Trainings-Test-Ausrichtung und Robustheit während der autoregressiven Vorhersage verbessert. Experimente auf anspruchsvollen Benchmarks für mobile und feinkörnige Manipulation zeigen, dass ABot-M0.5 sowohl hinsichtlich des langfristigen Aufgabenerfolgs als auch der feinkörnigen Steuerungsgenauigkeit State-of-the-Art-Leistungen erzielt. Diese Ergebnisse unterstreichen die entscheidende Bedeutung einer granularitätsangepassten, aktionsentflechtenden und inferenzkonsistenten Weltaktionsmodellierung.

English

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.