Vid2World: Создание моделей диффузии видео для интерактивных моделей мира

Vid2World: Crafting Video Diffusion Models to Interactive World Models

May 20, 2025

Авторы: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

cs.AI

Аннотация

Модели мира, которые предсказывают переходы на основе последовательностей наблюдений и действий, показали значительный потенциал в повышении эффективности использования данных для принятия последовательных решений. Однако существующие модели мира часто требуют обширного обучения, специфичного для конкретной области, и всё ещё производят низкокачественные, грубые предсказания, что ограничивает их применимость в сложных средах. В отличие от этого, видео-диффузионные модели, обученные на больших наборах данных интернет-масштаба, продемонстрировали впечатляющие способности в генерации высококачественных видео, которые передают разнообразные динамики реального мира. В данной работе мы представляем Vid2World — универсальный подход для использования и переноса предобученных видео-диффузионных моделей в интерактивные модели мира. Чтобы преодолеть разрыв, Vid2World выполняет каузализацию предобученной видео-диффузионной модели, адаптируя её архитектуру и цель обучения для обеспечения авторегрессивной генерации. Кроме того, вводится механизм каузального управления действиями, чтобы повысить управляемость действий в результирующей интерактивной модели мира. Многочисленные эксперименты в областях манипуляции роботов и симуляции игр показывают, что наш метод предлагает масштабируемый и эффективный подход для перепрофилирования высокопроизводительных видео-диффузионных моделей в интерактивные модели мира.

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.