Génération de vidéos par simulateur physique en boucle
Physical Simulator In-the-Loop Video Generation
March 6, 2026
Auteurs: Lin Geng Foo, Mark He Huang, Alexandros Lattas, Stylianos Moschoglou, Thabo Beeler, Christian Theobalt
cs.AI
Résumé
Les récents progrès en génération vidéo par diffusion ont atteint un réalisme visuel remarquable mais peinent encore à respecter les lois physiques fondamentales telles que la gravité, l'inertie et les collisions. Les objets générés se déplacent souvent de manière incohérente entre les images, présentent une dynamique peu plausible ou violent les contraintes physiques, limitant ainsi le réalisme et la fiabilité des vidéos générées par IA. Nous comblons cette lacune en introduisant PSIVG (Physical Simulator In-the-loop Video Generation), un cadre novateur qui intègre un simulateur physique dans le processus de diffusion vidéo. En partant d'une vidéo modèle générée par un modèle de diffusion pré-entraîné, PSIVG reconstruit la scène 4D et les maillages des objets au premier plan, les initialise dans un simulateur physique et génère des trajectoires physiquement cohérentes. Ces trajectoires simulées sont ensuite utilisées pour guider le générateur vidéo vers un mouvement spatio-temporellement cohérent sur le plan physique. Pour améliorer davantage la cohérence texturale durant le mouvement des objets, nous proposons une technique d'optimisation de cohérence texturale en temps de test (TTCO) qui adapte les embeddings textuels et de caractéristiques basés sur les correspondances pixel du simulateur. Des expériences approfondies démontrent que PSIVG produit des vidéos qui adhèrent mieux à la physique du monde réel tout en préservant la qualité visuelle et la diversité. Page du projet : https://vcai.mpi-inf.mpg.de/projects/PSIVG/
English
Recent advances in diffusion-based video generation have achieved remarkable visual realism but still struggle to obey basic physical laws such as gravity, inertia, and collision. Generated objects often move inconsistently across frames, exhibit implausible dynamics, or violate physical constraints, limiting the realism and reliability of AI-generated videos. We address this gap by introducing Physical Simulator In-the-loop Video Generation (PSIVG), a novel framework that integrates a physical simulator into the video diffusion process. Starting from a template video generated by a pre-trained diffusion model, PSIVG reconstructs the 4D scene and foreground object meshes, initializes them within a physical simulator, and generates physically consistent trajectories. These simulated trajectories are then used to guide the video generator toward spatio-temporally physically coherent motion. To further improve texture consistency during object movement, we propose a Test-Time Texture Consistency Optimization (TTCO) technique that adapts text and feature embeddings based on pixel correspondences from the simulator. Comprehensive experiments demonstrate that PSIVG produces videos that better adhere to real-world physics while preserving visual quality and diversity. Project Page: https://vcai.mpi-inf.mpg.de/projects/PSIVG/