Fysieke Simulator In-the-Loop Videogeneratie
Physical Simulator In-the-Loop Video Generation
March 6, 2026
Auteurs: Lin Geng Foo, Mark He Huang, Alexandros Lattas, Stylianos Moschoglou, Thabo Beeler, Christian Theobalt
cs.AI
Samenvatting
Recente vooruitgang in diffusiegebaseerde videogeneratie heeft opmerkelijke visuele realisatie bereikt, maar worstelt nog steeds met het naleven van basale natuurkundige wetten zoals zwaartekracht, traagheid en botsing. Gegenereerde objecten bewegen vaak inconsistent tussen frames, vertonen ongeloofwaardige dynamiek of overtreden fysieke beperkingen, wat de realiteitswaarde en betrouwbaarheid van AI-gegenereerde video's beperkt. Wij dichten deze kloof door Physical Simulator In-the-loop Video Generation (PSIVG) te introduceren, een nieuw framework dat een fysieke simulator integreert in het videodiffusieproces. Uitgaande van een sjabloonvideo gegenereerd door een vooraf getraind diffusiemodel, reconstrueert PSIVG de 4D-scène en voorgrondobjectmallen, initialiseert deze in een fysieke simulator en genereert fysiek consistente trajecten. Deze gesimuleerde trajecten worden vervolgens gebruikt om de videogenerator te sturen naar ruimtelijk-tijdelijk fysiek coherente beweging. Om de textuurconsistentie tijdens objectbeweging verder te verbeteren, stellen we een Test-Time Texture Consistency Optimization (TTCO)-techniek voor die tekst- en feature-embeddings aanpast op basis van pixelcorrespondenties uit de simulator. Uitgebreide experimenten tonen aan dat PSIVG video's produceert die beter voldoen aan de fysica van de echte wereld, terwijl de visuele kwaliteit en diversiteit behouden blijven. Projectpagina: https://vcai.mpi-inf.mpg.de/projects/PSIVG/
English
Recent advances in diffusion-based video generation have achieved remarkable visual realism but still struggle to obey basic physical laws such as gravity, inertia, and collision. Generated objects often move inconsistently across frames, exhibit implausible dynamics, or violate physical constraints, limiting the realism and reliability of AI-generated videos. We address this gap by introducing Physical Simulator In-the-loop Video Generation (PSIVG), a novel framework that integrates a physical simulator into the video diffusion process. Starting from a template video generated by a pre-trained diffusion model, PSIVG reconstructs the 4D scene and foreground object meshes, initializes them within a physical simulator, and generates physically consistent trajectories. These simulated trajectories are then used to guide the video generator toward spatio-temporally physically coherent motion. To further improve texture consistency during object movement, we propose a Test-Time Texture Consistency Optimization (TTCO) technique that adapts text and feature embeddings based on pixel correspondences from the simulator. Comprehensive experiments demonstrate that PSIVG produces videos that better adhere to real-world physics while preserving visual quality and diversity. Project Page: https://vcai.mpi-inf.mpg.de/projects/PSIVG/