Olaf-World: Ориентация латентных действий для видео-моделирования мира

Olaf-World: Orienting Latent Actions for Video World Modeling

February 10, 2026

Авторы: Yuxin Jiang, Yuchao Gu, Ivor W. Tsang, Mike Zheng Shou

cs.AI

Аннотация

Масштабирование управляемых действиями моделей мира ограничено дефицитом меток действий. Хотя латентное обучение действиям обещает извлечь интерфейсы управления из немаркированного видео, изученные латентные переменные часто не переносятся между контекстами: они переплетают контекстно-специфичные сигналы и лишены общей системы координат. Это происходит потому, что стандартные целевые функции работают только в пределах каждого клипа, не предоставляя механизма для согласования семантики действий между контекстами. Наше ключевое наблюдение заключается в том, что хотя действия ненаблюдаемы, их семантические эффекты наблюдаемы и могут служить общим ориентиром. Мы представляем SeqΔ-REPA, цель согласования на уровне последовательностей по управляющему эффекту, которая привязывает интегрированное латентное действие к временным разностям признаков из замороженного самообучающегося видеокодера. На основе этого мы представляем Olaf-World, конвейер для предварительного обучения управляемых действиями видеомоделей мира на крупномасштабном пассивном видео. Многочисленные эксперименты демонстрируют, что наш метод изучает более структурированное латентное пространство действий, что приводит к лучшему zero-shot переносу действий и более эффективной по данным адаптации к новым интерфейсам управления по сравнению с передовыми базовыми методами.

English

Scaling action-controllable world models is limited by the scarcity of action labels. While latent action learning promises to extract control interfaces from unlabeled video, learned latents often fail to transfer across contexts: they entangle scene-specific cues and lack a shared coordinate system. This occurs because standard objectives operate only within each clip, providing no mechanism to align action semantics across contexts. Our key insight is that although actions are unobserved, their semantic effects are observable and can serve as a shared reference. We introduce SeqΔ-REPA, a sequence-level control-effect alignment objective that anchors integrated latent action to temporal feature differences from a frozen, self-supervised video encoder. Building on this, we present Olaf-World, a pipeline that pretrains action-conditioned video world models from large-scale passive video. Extensive experiments demonstrate that our method learns a more structured latent action space, leading to stronger zero-shot action transfer and more data-efficient adaptation to new control interfaces than state-of-the-art baselines.