Olaf-World: 映像世界モデリングのための潜在アクションの方向付け

要旨

行動制御可能な世界モデルのスケーリングは、行動ラベルの不足によって制限されている。潜在行動学習はラベルなしビデオから制御インターフェースを抽出する可能性を秘めるが、学習された潜在変数は文脈間での転移にしばしば失敗する：それらは場面固有の手がかりと混ざり合い、共有座標系を欠いている。これは、標準的な目的関数が各クリップ内でのみ機能し、文脈間で行動意味を調整する仕組みを提供しないために生じる。我々の重要な洞察は、行動自体は観測不能であっても、その意味的効果は観測可能であり、共有参照として機能し得る点である。本論文では、統合された潜在行動を、凍結された自己教師ありビデオエンコーダから得られる時間的特徴差分に固定する、シーケンスレベルの制御効果アライメント目的関数SeqΔ-REPAを提案する。これを基盤として、大規模な受動的ビデオから行動条件付きビデオ世界モデルを事前学習するパイプラインOlaf-Worldを提示する。大規模な実験により、本手法がより構造化された潜在行動空間を学習し、既存の最先端ベースラインと比較して、より強力なゼロショット行動転移と、新しい制御インターフェースへのよりデータ効率的な適応を実現することを実証する。

English

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce SeqΔ-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.

Olaf-World: 映像世界モデリングのための潜在アクションの方向付け

Olaf-World: Orienting Latent Actions for Video World Modeling

要旨

Support