El video sintético mejora la fidelidad física en la síntesis de video.

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

Autores: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

Resumen

Investigamos cómo mejorar la fidelidad física de los modelos de generación de vídeo aprovechando vídeos sintéticos derivados de pipelines de gráficos por computadora. Estos vídeos renderizados respetan la física del mundo real, como mantener la consistencia 3D, y sirven como un recurso valioso que puede potencialmente mejorar los modelos de generación de vídeo. Para aprovechar este potencial, proponemos una solución que selecciona e integra datos sintéticos mientras introduce un método para transferir su realismo físico al modelo, reduciendo significativamente los artefactos no deseados. A través de experimentos en tres tareas representativas que enfatizan la consistencia física, demostramos su eficacia en la mejora de la fidelidad física. Aunque nuestro modelo aún carece de una comprensión profunda de la física, nuestro trabajo ofrece una de las primeras demostraciones empíricas de que el vídeo sintético mejora la fidelidad física en la síntesis de vídeo. Sitio web: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/