Vid2World: Creación de Modelos de Difusión de Video para Modelos de Mundo Interactivos

Vid2World: Crafting Video Diffusion Models to Interactive World Models

May 20, 2025

Autores: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

cs.AI

Resumen

Los modelos del mundo, que predicen transiciones basadas en la observación de historiales y secuencias de acciones, han mostrado un gran potencial para mejorar la eficiencia de los datos en la toma de decisiones secuenciales. Sin embargo, los modelos del mundo existentes a menudo requieren un entrenamiento extenso específico del dominio y aún producen predicciones de baja fidelidad y poco detalladas, lo que limita su aplicabilidad en entornos complejos. En contraste, los modelos de difusión de video entrenados en grandes conjuntos de datos a escala de internet han demostrado capacidades impresionantes para generar videos de alta calidad que capturan dinámicas diversas del mundo real. En este trabajo, presentamos Vid2World, un enfoque general para aprovechar y transferir modelos de difusión de video preentrenados a modelos del mundo interactivos. Para cerrar la brecha, Vid2World realiza la causalización de un modelo de difusión de video preentrenado mediante la adaptación de su arquitectura y objetivo de entrenamiento para permitir la generación autoregresiva. Además, introduce un mecanismo de guía de acciones causales para mejorar la controlabilidad de las acciones en el modelo del mundo interactivo resultante. Experimentos extensos en dominios de manipulación robótica y simulación de juegos muestran que nuestro método ofrece un enfoque escalable y efectivo para reutilizar modelos de difusión de video altamente capacitados como modelos del mundo interactivos.

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.