Vid2World: Modellazione di Sistemi di Diffusione Video per la Creazione di Modelli di Mondi Interattivi

Vid2World: Crafting Video Diffusion Models to Interactive World Models

May 20, 2025

Autori: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

cs.AI

Abstract

I modelli del mondo, che prevedono transizioni basate su sequenze di osservazioni storiche e azioni, hanno dimostrato un grande potenziale nel migliorare l'efficienza dei dati per il processo decisionale sequenziale. Tuttavia, i modelli del mondo esistenti spesso richiedono un addestramento estensivo specifico per dominio e producono ancora previsioni a bassa fedeltà e grossolane, limitando la loro applicabilità in ambienti complessi. Al contrario, i modelli di diffusione video addestrati su grandi dataset su scala internet hanno dimostrato capacità impressionanti nella generazione di video di alta qualità che catturano dinamiche diverse del mondo reale. In questo lavoro, presentiamo Vid2World, un approccio generale per sfruttare e trasferire modelli di diffusione video pre-addestrati in modelli del mondo interattivi. Per colmare il divario, Vid2World esegue la causalizzazione di un modello di diffusione video pre-addestrato progettando la sua architettura e l'obiettivo di addestramento per abilitare la generazione autoregressiva. Inoltre, introduce un meccanismo di guida causale delle azioni per migliorare la controllabilità delle azioni nel modello del mondo interattivo risultante. Esperimenti estesi nei domini della manipolazione robotica e della simulazione di giochi mostrano che il nostro metodo offre un approccio scalabile ed efficace per riutilizzare modelli di diffusione video altamente capaci in modelli del mondo interattivi.

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.