Olaf-World: Ausrichtung latenter Aktionen für die Videoweltenmodellierung

Olaf-World: Orienting Latent Actions for Video World Modeling

February 10, 2026

papers.authors: Yuxin Jiang, Yuchao Gu, Ivor W. Tsang, Mike Zheng Shou

cs.AI

papers.abstract

Die Skalierung von handlungssteuerbaren Weltmodellen wird durch die Knappheit von Aktionslabels begrenzt. Während latente Aktionslernverfahren versprechen, Steuerungsschnittstellen aus ungelabelten Videos zu extrahieren, gelingt der Transfer gelernten Latenter Variablen über verschiedene Kontexte hinweg oft nicht: Sie vermischen kontextspezifische Merkmale und es fehlt ihnen an einem gemeinsamen Koordinatensystem. Dies geschieht, weil Standard-Zielfunktionen nur innerhalb jedes Clips operieren und keinen Mechanismus zur Abstimmung der Aktionssemantik über Kontexte hinweg bieten. Unsere zentrale Erkenntnis ist, dass zwar die Aktionen selbst unbeobachtet sind, ihre semantischen Effekte jedoch beobachtbar sind und als gemeinsame Referenz dienen können. Wir führen SeqΔ-REPA ein, eine sequenzielle Zielfunktion zur Ausrichtung von Steuereffekten, die integrierte latente Aktionen an zeitlichen Merkmalsdifferenzen eines eingefrorenen, selbstüberwachten Videoencoders verankert. Darauf aufbauend präsentieren wir Olaf-World, eine Pipeline, die aktionskonditionierte Videoweltenmodelle aus passiv aufgenommenen Großdaten-Videos vortrainiert. Umfangreiche Experimente zeigen, dass unsere Methode einen strukturierteren latenten Aktionsraum erlernt, was zu einem stärkeren Zero-Shot-Aktionstransfer und einer dateneffizienteren Anpassung an neue Steuerungsschnittstellen führt als bei state-of-the-art Baseline-Verfahren.

English

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce SeqΔ-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.