Vid2World: Entwicklung von Video-Diffusionsmodellen zu interaktiven Weltmodellen

Vid2World: Crafting Video Diffusion Models to Interactive World Models

May 20, 2025

Autoren: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

cs.AI

Zusammenfassung

Weltmodelle, die Übergänge basierend auf historischen Beobachtungen und Aktionssequenzen vorhersagen, haben großes Potenzial gezeigt, um die Dateneffizienz bei sequenziellen Entscheidungsprozessen zu verbessern. Allerdings erfordern bestehende Weltmodelle oft umfangreiches domänenspezifisches Training und erzeugen dennoch niedrigauflösende, grobe Vorhersagen, was ihre Anwendbarkeit in komplexen Umgebungen einschränkt. Im Gegensatz dazu haben Video-Diffusionsmodelle, die auf großen, internetweiten Datensätzen trainiert wurden, beeindruckende Fähigkeiten bei der Erzeugung hochwertiger Videos demonstriert, die vielfältige reale Dynamiken erfassen. In dieser Arbeit präsentieren wir Vid2World, einen allgemeinen Ansatz, um vortrainierte Video-Diffusionsmodelle in interaktive Weltmodelle zu übertragen und zu nutzen. Um die Lücke zu schließen, führt Vid2World eine Kausalisation eines vortrainierten Video-Diffusionsmodells durch, indem dessen Architektur und Trainingsziel so gestaltet werden, dass eine autoregressive Generierung ermöglicht wird. Darüber hinaus wird ein kausaler Aktionsleitmechanismus eingeführt, um die Aktionssteuerbarkeit im resultierenden interaktiven Weltmodell zu verbessern. Umfangreiche Experimente in den Bereichen Roboter-Manipulation und Spielsimulation zeigen, dass unsere Methode einen skalierbaren und effektiven Ansatz bietet, um hochleistungsfähige Video-Diffusionsmodelle in interaktive Weltmodelle umzuwandeln.

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.