MWM: 행동 조건 기반 일관된 예측을 위한 모바일 세계 모델

초록

월드 모델은 예측된 미래 공간에서의 계획 수립을 가능하게 하여, 구현형 내비게이션에 유망한 프레임워크를 제공합니다. 그러나 기존 내비게이션 월드 모델은 종종 행동 조건 일관성이 부족하여, 시각적으로 그럴듯한 예측도 다단계 롤아웃 시 드리프트를 일으키고 계획 성능을 저하시킬 수 있습니다. 더욱이 효율적인 배포를 위해서는 Few-Step 디퓨전 추론이 필요하지만, 기존의 증류 방법은 롤아웃 일관성을 명시적으로 보존하지 않아 훈련-추론 불일치를 초래합니다. 이러한 문제를 해결하기 위해 우리는 계획 기반 이미지 목표 내비게이션을 위한 이동형 월드 모델인 MWM을 제안합니다. 구체적으로, 행동 조건 롤아웃 일관성을 향상시키기 위해 구조적 사전 훈련과 행동 조건 일관성(ACC) 사후 훈련을 결합한 2단계 훈련 프레임워크를 도입합니다. 또한 향상된 롤아웃 일관성을 갖춘 Few-Step 디퓨전 증류를 위한 추론 일관 상태 증류(ICSD)를 제안합니다. 벤치마크 및 실제 과제에 대한 실험을 통해 시각적 정확도, 궤적 정확도, 계획 성공률 및 추론 효율성에서 지속적인 성능 향상을 입증합니다. 코드: https://github.com/AIGeeksGroup/MWM. 웹사이트: https://aigeeksgroup.github.io/MWM.

English

World models enable planning in imagined future predicted space, offering a promising framework for embodied navigation. However, existing navigation world models often lack action-conditioned consistency, so visually plausible predictions can still drift under multi-step rollout and degrade planning. Moreover, efficient deployment requires few-step diffusion inference, but existing distillation methods do not explicitly preserve rollout consistency, creating a training-inference mismatch. To address these challenges, we propose MWM, a mobile world model for planning-based image-goal navigation. Specifically, we introduce a two-stage training framework that combines structure pretraining with Action-Conditioned Consistency (ACC) post-training to improve action-conditioned rollout consistency. We further introduce Inference-Consistent State Distillation (ICSD) for few-step diffusion distillation with improved rollout consistency. Our experiments on benchmark and real-world tasks demonstrate consistent gains in visual fidelity, trajectory accuracy, planning success, and inference efficiency. Code: https://github.com/AIGeeksGroup/MWM. Website: https://aigeeksgroup.github.io/MWM.

MWM: 행동 조건 기반 일관된 예측을 위한 모바일 세계 모델

MWM: Mobile World Models for Action-Conditioned Consistent Prediction

초록

Support