합성 비디오는 비디오 합성에서 물리적 정확도를 향상시킨다.

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

저자: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

초록

컴퓨터 그래픽 파이프라인에서 생성된 합성 비디오를 활용하여 비디오 생성 모델의 물리적 정확도를 향상시키는 방법을 연구합니다. 이러한 렌더링된 비디오는 3D 일관성 유지와 같은 실제 세계의 물리 법칙을 준수하며, 비디오 생성 모델을 개선할 수 있는 귀중한 자원으로 활용될 수 있습니다. 이러한 잠재력을 활용하기 위해, 우리는 합성 데이터를 선별하고 통합하는 동시에 물리적 현실감을 모델에 전달하는 방법을 제안하여 원치 않는 아티팩트를 크게 줄입니다. 물리적 일관성을 강조하는 세 가지 대표적인 작업에 대한 실험을 통해, 이 방법이 물리적 정확도를 향상시키는 데 효과적임을 입증합니다. 우리의 모델은 아직 물리학에 대한 깊은 이해가 부족하지만, 합성 비디오가 비디오 합성에서 물리적 정확도를 향상시킨다는 초기 실증적 결과를 제시합니다. 웹사이트: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/