Olaf-World: Oriëntatie van Latente Acties voor Videowereldmodellering

Olaf-World: Orienting Latent Actions for Video World Modeling

February 10, 2026

Auteurs: Yuxin Jiang, Yuchao Gu, Ivor W. Tsang, Mike Zheng Shou

cs.AI

Samenvatting

Het schalen van actie-bestuurbare wereldmodellen wordt beperkt door de schaarste aan actielabels. Hoewel latent actieleren de belofte inhoudt om besturingsinterfaces te extraheren uit ongelabelde video, slagen geleerde latenties er vaak niet in om over contexten heen te transfereren: ze verstrengelen context-specifieke signalen en missen een gedeeld coördinatensysteem. Dit gebeurt omdat standaarddoelstellingen alleen binnen elke clip opereren, zonder mechanisme om actiesemantiek tussen contexten uit te lijnen. Ons belangrijkste inzicht is dat hoewel acties niet geobserveerd worden, hun semantische effecten wel observeerbaar zijn en kunnen dienen als een gedeelde referentie. Wij introduceren SeqΔ-REPA, een sequentie-niveau controle-effect aligneringsdoelstelling die geïntegreerde latente actie verankert aan temporele featureverschillen van een bevroren, zelf-gesuperviseerde videocodering. Hierop voortbouwend presenteren we Olaf-World, een pijplijn die actie-geconditioneerde videowereldmodellen voor-traint op grootschalige passieve video. Uitgebreide experimenten tonen aan dat onze methode een meer gestructureerde latente actieruimte leert, wat leidt tot sterkere zero-shot actietransfer en een data-efficiëntere aanpassing aan nieuwe besturingsinterfaces dan state-of-the-art baselines.

English

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce SeqΔ-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.