Vid2World: Het ontwikkelen van videodiffusiemodellen naar interactieve wereldmodellen

Vid2World: Crafting Video Diffusion Models to Interactive World Models

May 20, 2025

Auteurs: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

cs.AI

Samenvatting

Wereldmodellen, die overgangen voorspellen op basis van historische observaties en actievolgordes, hebben veelbelovende resultaten getoond in het verbeteren van data-efficiëntie voor sequentiële besluitvorming. Bestaande wereldmodellen vereisen echter vaak uitgebreide domeinspecifieke training en produceren nog steeds voorspellingen met een lage fideliteit en grove details, wat hun toepasbaarheid in complexe omgevingen beperkt. Daarentegen hebben videodiffusiemodellen die getraind zijn op grote, internet-schaal datasets indrukwekkende capaciteiten getoond in het genereren van hoogwaardige video's die diverse real-world dynamiek vastleggen. In dit werk presenteren we Vid2World, een algemene aanpak voor het benutten en overdragen van vooraf getrainde videodiffusiemodellen naar interactieve wereldmodellen. Om de kloof te overbruggen, voert Vid2World causalization uit van een vooraf getraind videodiffusiemodel door de architectuur en het trainingsdoel aan te passen om autoregressieve generatie mogelijk te maken. Bovendien introduceert het een causale actiebegeleidingsmechanisme om de actiebestuurbaarheid in het resulterende interactieve wereldmodel te verbeteren. Uitgebreide experimenten in robotmanipulatie en gamesimulatiedomeinen tonen aan dat onze methode een schaalbare en effectieve aanpak biedt voor het hergebruiken van zeer capabele videodiffusiemodellen als interactieve wereldmodellen.

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.