Il video sintetico migliora la fedeltà fisica nella sintesi video.

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

Autori: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

Abstract

Indaghiamo come migliorare la fedeltà fisica dei modelli di generazione video sfruttando video sintetici derivati da pipeline di computer grafica. Questi video renderizzati rispettano la fisica del mondo reale, come il mantenimento della coerenza 3D, e rappresentano una risorsa preziosa che può potenzialmente migliorare i modelli di generazione video. Per sfruttare questo potenziale, proponiamo una soluzione che cura e integra dati sintetici, introducendo un metodo per trasferire il loro realismo fisico al modello, riducendo significativamente gli artefatti indesiderati. Attraverso esperimenti su tre task rappresentativi che enfatizzano la coerenza fisica, dimostriamo l'efficacia di questo approccio nel migliorare la fedeltà fisica. Sebbene il nostro modello non possieda ancora una comprensione profonda della fisica, il nostro lavoro offre una delle prime dimostrazioni empiriche che i video sintetici migliorano la fedeltà fisica nella sintesi video. Sito web: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/