O Vídeo Sintético Melhora a Fidelidade Física na Síntese de Vídeo
Synthetic Video Enhances Physical Fidelity in Video Synthesis
March 26, 2025
Autores: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang
cs.AI
Resumo
Investigamos como aprimorar a fidelidade física de modelos de geração de vídeo utilizando vídeos sintéticos derivados de pipelines de computação gráfica. Esses vídeos renderizados respeitam a física do mundo real, como a manutenção da consistência 3D, e servem como um recurso valioso que pode potencialmente melhorar os modelos de geração de vídeo. Para aproveitar esse potencial, propomos uma solução que cuida e integra dados sintéticos, ao mesmo tempo em que introduz um método para transferir seu realismo físico para o modelo, reduzindo significativamente artefatos indesejados. Por meio de experimentos em três tarefas representativas que enfatizam a consistência física, demonstramos sua eficácia em aprimorar a fidelidade física. Embora nosso modelo ainda não possua um entendimento profundo da física, nosso trabalho oferece uma das primeiras demonstrações empíricas de que vídeos sintéticos melhoram a fidelidade física na síntese de vídeo. Website: https://kevinz8866.github.io/simulation/
English
We investigate how to enhance the physical fidelity of video generation
models by leveraging synthetic videos derived from computer graphics pipelines.
These rendered videos respect real-world physics, such as maintaining 3D
consistency, and serve as a valuable resource that can potentially improve
video generation models. To harness this potential, we propose a solution that
curates and integrates synthetic data while introducing a method to transfer
its physical realism to the model, significantly reducing unwanted artifacts.
Through experiments on three representative tasks emphasizing physical
consistency, we demonstrate its efficacy in enhancing physical fidelity. While
our model still lacks a deep understanding of physics, our work offers one of
the first empirical demonstrations that synthetic video enhances physical
fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/