Synthetische video verbetert de fysieke nauwkeurigheid in videosynthese.

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

Auteurs: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

Samenvatting

We onderzoeken hoe de fysieke nauwkeurigheid van videogeneratiemodellen kan worden verbeterd door gebruik te maken van synthetische video's die afkomstig zijn uit computergraphics-pipelines. Deze gerenderde video's houden rekening met realistische fysica, zoals het behouden van 3D-consistentie, en vormen een waardevolle bron die videogeneratiemodellen potentieel kan verbeteren. Om dit potentieel te benutten, stellen we een oplossing voor die synthetische data selecteert en integreert, terwijl we een methode introduceren om de fysieke realisme ervan over te dragen naar het model, waardoor ongewenste artefacten aanzienlijk worden verminderd. Door experimenten uit te voeren op drie representatieve taken die fysieke consistentie benadrukken, tonen we de effectiviteit aan in het verbeteren van de fysieke nauwkeurigheid. Hoewel ons model nog geen diepgaand begrip van fysica heeft, biedt ons werk een van de eerste empirische demonstraties dat synthetische video de fysieke nauwkeurigheid in videosynthese verbetert. Website: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/