SyncWorld: 시각적 캘리브레이션이 월드 모델을 제로샷 시뮬레이터로 가능하게 함

초록

월드 모델은 정책 인 더 루프(policy-in-the-loop) 상상 환경으로 점점 더 많이 사용되고 있으며, 여기서 신뢰할 수 있는 롤아웃은 저수준 로봇 행동에 대한 세밀한 제어 가능성을 요구한다. 로보틱스에서 이러한 모델을 확장하는 데 있어 핵심 장애물은 행동이 픽셀 공간에서 보편적 언어가 아니라는 점이다. 즉, 시각적 환경, 카메라 시점, 로봇 배치 또는 구현체(embodiment)의 변화는 동일한 수치적 행동이 시각적으로 발현되는 방식을 바꾸어, 혼합 학습에서 상충하는 지도 신호를 초래하고 배포 시 취약한 일반화로 이어진다. 우리는 추가 학습 없이 보지 못한 환경 전반에서 제로샷 시뮬레이터 역할을 하는 행동 조건부 월드 모델인 SyncWorld를 소개한다. SyncWorld는 모든 제어 가능한 자유도를 보여주는 짝지어진 프레임과 행동으로 이루어진 시각적 캘리브레이션 에피소드를 활용하여, 설정별 행동–시각 매핑(Action–Visual Mapping)을 맥락 내에서 지정한다. 시각적 캘리브레이션 맥락을 사용한 학습은 모델이 시각적 증거를 통해 행동을 해석하고, 명시적 캘리브레이션이 없을 때 상호작용 이력을 활용하도록 학습시킨다. 실험은 SyncWorld가 이전에 보지 못한 설정에서 행동 결과를 정확하게 시뮬레이션할 수 있음을, 그리고 롤아웃을 시뮬레이션하는 능력이 학습 없이 테스트 시 정책 개선을 가능하게 함을 보여준다.

English

World models are increasingly used as policy-in-the-loop imagination environments, where reliable rollouts require fine-grained controllability with respect to low-level robot actions. A key obstacle to scaling such models in robotics is that actions are not a universal language in pixel space: changes in visual environment, camera view, robot placement, or embodiment alter how the same numerical action manifests visually, leading to conflicting supervision under mixed training and brittle generalization at deployment. We introduce SyncWorld, an action-conditioned world model that serves as a zero-shot simulator across unseen environments without any additional training. SyncWorld leverages a visual calibration episode---paired frames and actions that showcase all the controllable degrees of freedom---to specify the setup-specific Action--Visual Mapping in context. Training with visual calibration contexts teaches the model to interpret actions through visual evidence and to leverage interaction history when explicit calibration is unavailable. Experiments show that SyncWorld can accurately simulate action outcomes in previously unseen settings, and that its capability of simulating rollouts enables test-time policy improvement without training.