Olaf-World : Orientation des Actions Latentes pour la Modélisation du Monde Vidéo

Olaf-World: Orienting Latent Actions for Video World Modeling

February 10, 2026

papers.authors: Yuxin Jiang, Yuchao Gu, Ivor W. Tsang, Mike Zheng Shou

cs.AI

papers.abstract

La mise à l'échelle des modèles de monde contrôlables par actions est limitée par la rareté des étiquettes d'actions. Bien que l'apprentissage latent d'actions promette d'extraire des interfaces de contrôle à partir de vidéos non étiquetées, les latents apprises échouent souvent à se transférer entre les contextes : elles entremêlent des indices spécifiques à la scène et manquent d'un système de coordonnées partagé. Ceci se produit parce que les objectifs standards opèrent uniquement au sein de chaque clip, sans fournir de mécanisme pour aligner la sémantique des actions entre les contextes. Notre idée clé est que bien que les actions ne soient pas observées, leurs effets sémantiques sont observables et peuvent servir de référence partagée. Nous introduisons SeqΔ-REPA, un objectif d'alignement des effets de contrôle au niveau séquentiel qui ancre l'action latente intégrée aux différences de caractéristiques temporelles provenant d'un encodeur vidéo auto-supervisé et figé. Sur cette base, nous présentons Olaf-World, une pipeline qui pré-entraîne des modèles de monde vidéo conditionnés par l'action à partir de vidéos passives à grande échelle. Des expériences approfondies démontrent que notre méthode apprend un espace d'action latent plus structuré, conduisant à un transfert d'action zéro-shot plus robuste et une adaptation plus économe en données à de nouvelles interfaces de contrôle que les méthodes de référence état de l'art.

English

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce SeqΔ-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.