WorldCycle: 장기 지평 비디오 세계 모델을 위한 자가 검증 강화 학습

초록

상호작용형 비디오 세계 모델은 장기적 계획과 탐색에 필수적이지만, 누적 오류(compounding errors)라는 문제를 안고 있다. 강화 학습(RL)과 같은 사후 훈련 방법이 이러한 모델을 개선할 수 있지만, 검증 병목(verification bottleneck)에 직면한다: 임의의 행동 시퀀스에 대해 장기적 드리프트를 측정할 실측 미래 상태가 존재하지 않기 때문이다. 우리의 핵심 통찰은 가역적 행동 주기(reversible action cycles)가 이러한 검증을 가능하게 한다는 것이다. 역행동과 결합된 시퀀스는 분석적으로 초기 상태로 복귀해야 하므로, 장기적 정확성에 대한 주석 없는 지도 신호를 제공한다. 이를 바탕으로 우리는 WorldCycle을 제안한다. WorldCycle은 자가 검증 가능한 RL 프레임워크로, 일반적인 행동 시퀀스로부터 폐쇄적 행동 주기와 그 반복 실행을 구성하고, 두 가지 상호 보완적 보상을 최적화한다: 전방 및 역방향 세그먼트 간의 대칭성을 강제하는 공간 폐쇄 보상(spatial closure reward)과, 반복된 주기 실행 간 상태를 정렬하는 시간적 일관성 보상(temporal consistency reward)이다. 이러한 보상은 모델이 행동을 암기된 시간적 패턴이 아닌 일관된 상태 연산자로 학습하도록 강제하며, 기본 모델이 제대로 처리하지 못하는 분포 외(out-of-distribution) 복합 행동 주기로 자연스럽게 확장된다. 또한 우리는 복잡한 행동 구조에서 상태 복귀 능력을 평가하는 진단용 벤치마크인 CycleBench를 공개한다. WorldCycle은 상태 복귀 드리프트를 최대 44% 감소시키고 복합 행동 정확도를 기본 모델 대비 약 4배 향상시켜, 물리적으로 기반한 세계 모델을 위한 핵심 토대를 제공한다.

English

Interactive video world models are essential for long-horizon planning and exploration, yet they suffer from compounding errors. Post-training methods such as reinforcement learning (RL) can improve these models, but they hit a verification bottleneck: for arbitrary action sequences, no ground-truth future state exists to measure long-term drift. Our key insight is that reversible action cycles make this verification possible: a sequence composed with its inverse must analytically return to the initial state, yielding annotation-free supervision on long-horizon correctness. Building on this, we introduce WorldCycle, a self-verifiable RL framework that constructs closed action cycles and their repeated executions from ordinary action sequences, and optimizes two complementary rewards: a spatial closure reward enforcing symmetry between mirrored forward and reverse segments, and a temporal consistency reward aligning states across repeated cycle executions. These rewards force the model to learn actions as consistent state operators rather than memorized temporal patterns, and extend naturally to out-of-distribution composite action cycles that the base model handles poorly. We further release CycleBench, a diagnostic benchmark for state-returning ability under complex action structures. WorldCycle reduces state returning drift by up to 44% and lifts composite-action accuracy nearly 4x over the base model, providing a vital foundation for physically grounded world models.