행동에서 세계 모델링으로의 전이 가능한 동역학 사전 지식 학습

초록

우리는 로봇 학습을 위한 전이 가능한 역학 사전 지식을 학습하는 확장 가능한 방법으로서, 행동 조건화된 세계 모델링(action-conditioned world modeling)을 연구한다. 모델이 행동이 시각 장면의 진화를 어떻게 유도하는지 예측하도록 사전 훈련함으로써, 결과적으로 얻어진 세계 모델은 외관 수준의 비디오 생성 이상으로 재사용 가능한 상호작용 역학을 포착한다. 구체적으로, 우리는 실제 행동 주석이 포함된 대규모 로봇 조작 데이터에 대해 다중 뷰 상호작용 기반 확산 세계 모델인 A2World를 사전 훈련한다. 학습된 역학 사전 지식을 두 가지 상호 보완적 관점에서 검증한다. 첫째, A2World를 작업 또는 장면 특화된 실제 세계 시뮬레이터인 A2World-sim으로 변환한다. 이 시뮬레이터의 장기 롤아웃(long-horizon rollout)은 실제 로봇 롤아웃을 세계 모델 롤아웃으로 대체함으로써, 시뮬레이터 기반 정책 평가와 확장 가능한 가상 시나리오 분석(what-if analysis)을 지원한다. 둘째, 동일한 사전 훈련 가중치에서 출발하여 A2World를 시각 및 지시 조건 하에서 행동을 예측하는 비디오-행동 공동 예측 모델인 A2World-policy로 변환한다. 시뮬레이션 벤치마크와 실제 로봇 환경에 걸친 실험은 행동 조건화된 세계 모델 사전 훈련이 시뮬레이터 중심 및 정책 중심 로봇 학습 모두에 이점을 주는 전이 가능한 역학 사전 지식을 생성함을 보여준다.

English

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.