Generazione di Video con Simulatore Fisico in Loop

Physical Simulator In-the-Loop Video Generation

March 6, 2026

Autori: Lin Geng Foo, Mark He Huang, Alexandros Lattas, Stylianos Moschoglou, Thabo Beeler, Christian Theobalt

cs.AI

Abstract

I recenti progressi nella generazione video basata su modelli di diffusione hanno raggiunto un notevole realismo visivo, ma continuano a mostrare difficoltà nel rispettare leggi fisiche fondamentali come la gravità, l'inerzia e le collisioni. Gli oggetti generati spesso si muovono in modo incoerente tra i fotogrammi, presentano dinamiche inverosimili o violano i vincoli fisici, limitando il realismo e l'affidabilità dei video generati dall'IA. Affrontiamo questa lacuna introducendo Physical Simulator In-the-loop Video Generation (PSIVG), un framework innovativo che integra un simulatore fisico nel processo di diffusione video. Partendo da un video template generato da un modello di diffusione pre-addestrato, PSIVG ricostruisce la scena 4D e le mesh degli oggetti in primo piano, le inizializza all'interno di un simulatore fisico e genera traiettorie fisicamente consistenti. Queste traiettorie simulate vengono quindi utilizzate per guidare il generatore video verso movimenti fisicamente coerenti da un punto di vista spazio-temporale. Per migliorare ulteriormente la coerenza delle trame durante il movimento degli oggetti, proponiamo una tecnica di Test-Time Texture Consistency Optimization (TTCO) che adatta gli embedding testuali e di feature basandosi sulle corrispondenze pixel provenienti dal simulatore. Esperimenti completi dimostrano che PSIVG produce video che aderiscono meglio alla fisica del mondo reale, preservando al contempo la qualità visiva e la diversità. Pagina del progetto: https://vcai.mpi-inf.mpg.de/projects/PSIVG/

English

Recent advances in diffusion-based video generation have achieved remarkable visual realism but still struggle to obey basic physical laws such as gravity, inertia, and collision. Generated objects often move inconsistently across frames, exhibit implausible dynamics, or violate physical constraints, limiting the realism and reliability of AI-generated videos. We address this gap by introducing Physical Simulator In-the-loop Video Generation (PSIVG), a novel framework that integrates a physical simulator into the video diffusion process. Starting from a template video generated by a pre-trained diffusion model, PSIVG reconstructs the 4D scene and foreground object meshes, initializes them within a physical simulator, and generates physically consistent trajectories. These simulated trajectories are then used to guide the video generator toward spatio-temporally physically coherent motion. To further improve texture consistency during object movement, we propose a Test-Time Texture Consistency Optimization (TTCO) technique that adapts text and feature embeddings based on pixel correspondences from the simulator. Comprehensive experiments demonstrate that PSIVG produces videos that better adhere to real-world physics while preserving visual quality and diversity. Project Page: https://vcai.mpi-inf.mpg.de/projects/PSIVG/