WorldCycle：長期的ビデオ世界モデルのための自己検証可能な強化学習

要旨

インタラクティブビデオワールドモデルは長期的な計画と探索に不可欠であるが、累積誤差に悩まされる。強化学習(RL)などの事後訓練手法はこれらのモデルを改善できるものの、検証のボトルネックに直面する:任意のアクション系列に対して、長期的なドリフトを測定するための正解となる将来状態が存在しないのである。我々の重要な洞察は、可逆アクションサイクルがこの検証を可能にするという点にある:系列をその逆変換と組み合わせると、解析的に初期状態に戻らなければならず、長期的な正確性に関するアノテーション不要の教師信号が得られる。この洞察に基づき、我々はWorldCycleを提案する。これは、通常のアクション系列から閉じたアクションサイクルとその反復実行を構築し、2つの相補的な報酬を最適化する自己検証可能なRLフレームワークである:対称な前方セグメントと逆方向セグメント間の対称性を強制する空間的閉包報酬と、反復サイクル実行間で状態を整合させる時間的一貫性報酬である。これらの報酬により、モデルは記憶された時間的パターンではなく一貫した状態オペレータとしてアクションを学習することを強制され、ベースモデルがうまく扱えない分布外の複合アクションサイクルにも自然に拡張される。さらに、複雑なアクション構造下での状態復帰能力を診断するベンチマークであるCycleBenchも公開する。WorldCycleは状態復帰ドリフトを最大44%削減し、複合アクション精度をベースモデルと比較して約4倍向上させ、物理的な基盤を備えたワールドモデルのための重要な基盤を提供する。

English

Interactive video world models are essential for long-horizon planning and exploration, yet they suffer from compounding errors. Post-training methods such as reinforcement learning (RL) can improve these models, but they hit a verification bottleneck: for arbitrary action sequences, no ground-truth future state exists to measure long-term drift. Our key insight is that reversible action cycles make this verification possible: a sequence composed with its inverse must analytically return to the initial state, yielding annotation-free supervision on long-horizon correctness. Building on this, we introduce WorldCycle, a self-verifiable RL framework that constructs closed action cycles and their repeated executions from ordinary action sequences, and optimizes two complementary rewards: a spatial closure reward enforcing symmetry between mirrored forward and reverse segments, and a temporal consistency reward aligning states across repeated cycle executions. These rewards force the model to learn actions as consistent state operators rather than memorized temporal patterns, and extend naturally to out-of-distribution composite action cycles that the base model handles poorly. We further release CycleBench, a diagnostic benchmark for state-returning ability under complex action structures. WorldCycle reduces state returning drift by up to 44% and lifts composite-action accuracy nearly 4x over the base model, providing a vital foundation for physically grounded world models.