ABot-M0.5: 통합된 이동-조작 세계 행동 모델

초록

모바일 조작은 범용 로봇의 핵심 능력이지만, 현재의 체화 학습 방법에는 여전히 어려운 과제로 남아 있다. VLA 정책은 일반적으로 반응적이며 명시적인 세계 모델링이 부족한 반면, 기존의 세계 행동 모델(WAM)은 여전히 모바일 조작의 구조와 제대로 정렬되지 않았다. 이들은 거친 비디오 청크 단위로 동작하고, 혼합된 탐색-조작 행동을 모델링하며, 자기회귀 추론과 일치하지 않는 감독 하에 역동학을 훈련한다. 그 결과, 세밀한 접촉 동역학을 놓치고, 행동 분포 충돌을 겪으며, 장기적 롤아웃에서 오류를 축적하는 경우가 많다. 우리는 모바일 조작이 시간적 세분성, 행동 공간, 훈련-테스트 일관성의 세 가지 수준에서 정렬을 필요로 한다는 통찰을 바탕으로 한 새로운 WAM인 ABot-M0.5를 제안한다. 시간적 세분성을 정렬하기 위해, 국소적 시각 상태 전이를 포착하고 비디오 잠재 변수와 구현체별 제어 사이의 연결 행동 공간 역할을 하는 중간 잠재 행동을 도입한다. 행동 공간을 정렬하기 위해, 양식 표현과 베이스 이동 및 팔 조작과 같은 이종 행동 부분 공간을 모두 분리하는 이중 수준 Mixture-of-Transformers 아키텍처를 설계한다. 추론 조건을 정렬하기 위해, 모델이 예측한 비디오에서 점진적으로 역동학을 훈련하여 자기회귀 예측 중 훈련-테스트 정렬과 강건성을 향상시키는 드림 포싱 훈련 전략을 제안한다. 까다로운 모바일 및 세밀한 조작 벤치마크에 대한 실험은 ABot-M0.5가 장기적 과제 성공과 세밀한 제어 정확도 모두에서 최첨단 성능을 달성함을 보여준다. 이러한 결과는 세분성 정렬, 행동 분리, 추론 일관성을 갖춘 세계-행동 모델링의 중요성을 강조한다.

English

Mobile manipulation is a key capability for general-purpose robots, yet remains challenging for current embodied learning methods. VLA policies are typically reactive and lack explicit world modeling, while existing World Action Models (WAMs) are still poorly aligned with the structure of mobile manipulation: they operate on coarse video chunks, model entangled navigation-manipulation actions, and train inverse dynamics under supervision that does not match autoregressive inference. As a result, they often miss fine-grained contact dynamics, suffer from action-distribution conflicts, and accumulate errors over long-horizon rollouts. We propose ABot-M0.5, a new WAM built on the insight that mobile manipulation requires alignment at three levels: temporal granularity, action space, and train-test consistency. To align temporal granularity, we introduce intermediate latent actions that capture local visual state transitions and serve as an bridging action space between video latents and embodiment-specific controls. To align action space, we design a dual-level Mixture-of-Transformers architecture that disentangles both modality representations and heterogeneous action subspaces such as base movement and arm manipulation. To align inference conditions, we propose the dream-forcing training strategy that progressively trains inverse dynamics on model-predicted videos, improving train-test alignment and robustness during autoregressive prediction. Experiments on challenging mobile and fine-grained manipulation benchmarks demonstrate that ABot-M0.5 achieves state-of-the-art performance in both long-horizon task success and finegrained control accuracy. These results highlight the critical importance of granularity-aligned, action-disentangled, and inference-consistent world-action modeling.