La vidéo synthétique améliore la fidélité physique dans la synthèse vidéo.

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

Auteurs: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

Résumé

Nous étudions comment améliorer la fidélité physique des modèles de génération de vidéos en exploitant des vidéos synthétiques issues de pipelines de synthèse d'images par ordinateur. Ces vidéos rendues respectent les lois physiques du monde réel, comme la cohérence 3D, et constituent une ressource précieuse pouvant potentiellement améliorer les modèles de génération de vidéos. Pour exploiter ce potentiel, nous proposons une solution qui organise et intègre des données synthétiques tout en introduisant une méthode pour transférer leur réalisme physique au modèle, réduisant ainsi significativement les artefacts indésirables. À travers des expériences sur trois tâches représentatives mettant l'accent sur la cohérence physique, nous démontrons son efficacité à améliorer la fidélité physique. Bien que notre modèle manque encore d'une compréhension approfondie de la physique, notre travail offre l'une des premières démonstrations empiriques que les vidéos synthétiques améliorent la fidélité physique dans la synthèse vidéo. Site web : https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/