合成映像は映像合成における物理的忠実性を向上させる

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

著者: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

要旨

コンピュータグラフィックスパイプラインから生成された合成映像を活用することで、ビデオ生成モデルの物理的忠実度を向上させる方法を調査します。これらのレンダリングされた映像は、3D一貫性の維持など現実世界の物理法則に従っており、ビデオ生成モデルの改善に役立つ貴重なリソースとなります。この潜在能力を活用するため、合成データを精選・統合するとともに、その物理的リアリズムをモデルに転移する手法を提案し、不要なアーティファクトを大幅に削減します。物理的一貫性を重視した3つの代表的なタスクにおける実験を通じて、物理的忠実度の向上における有効性を実証します。我々のモデルはまだ物理に対する深い理解を欠いていますが、合成映像がビデオ合成における物理的忠実度を向上させることを実証した最初期の研究の一つを提供します。ウェブサイト: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/