Olaf-World: Orientando Acciones Latentes para el Modelado de Mundos en Video

Olaf-World: Orienting Latent Actions for Video World Modeling

February 10, 2026

Autores: Yuxin Jiang, Yuchao Gu, Ivor W. Tsang, Mike Zheng Shou

cs.AI

Resumen

La escalabilidad de los modelos del mundo controlables por acciones se ve limitada por la escasez de etiquetas de acción. Si bien el aprendizaje de acciones latentes promete extraer interfaces de control a partir de video sin etiquetar, los latentes aprendidos a menudo no se transfieren entre contextos: entrelazan claves específicas de la escena y carecen de un sistema de coordenadas compartido. Esto ocurre porque los objetivos estándar operan únicamente dentro de cada clip, sin proporcionar un mecanismo para alinear la semántica de las acciones entre contextos. Nuestra idea clave es que, aunque las acciones no son observadas, sus efectos semánticos son observables y pueden servir como referencia compartida. Introducimos SeqΔ-REPA, un objetivo de alineación de efectos de control a nivel de secuencia que ancla la acción latente integrada a diferencias de características temporales provenientes de un codificador de video auto-supervisado y congelado. Sobre esta base, presentamos Olaf-World, un pipeline que realiza el pre-entrenamiento de modelos de video del mundo condicionados por acciones a partir de video pasivo a gran escala. Experimentos exhaustivos demuestran que nuestro método aprende un espacio de acción latente más estructurado, lo que conduce a una transferencia de acciones cero-shot más sólida y a una adaptación más eficiente en cuanto a datos a nuevas interfaces de control en comparación con los métodos de referencia del estado del arte.

English

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce SeqΔ-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.