Синтетическое видео повышает физическую достоверность в синтезе видео

Synthetic Video Enhances Physical Fidelity in Video Synthesis

March 26, 2025

Авторы: Qi Zhao, Xingyu Ni, Ziyu Wang, Feng Cheng, Ziyan Yang, Lu Jiang, Bohan Wang

cs.AI

Аннотация

Мы исследуем, как повысить физическую достоверность моделей генерации видео, используя синтетические видео, созданные с помощью графических конвейеров. Эти визуализированные видео соответствуют законам реального мира, например, сохраняют 3D-согласованность, и представляют собой ценный ресурс, который может потенциально улучшить модели генерации видео. Чтобы реализовать этот потенциал, мы предлагаем решение, которое отбирает и интегрирует синтетические данные, одновременно вводя метод передачи их физической реалистичности модели, что значительно снижает нежелательные артефакты. В ходе экспериментов на трех репрезентативных задачах, акцентирующих физическую согласованность, мы демонстрируем эффективность этого подхода в повышении физической достоверности. Хотя наша модель все еще не обладает глубоким пониманием физики, наша работа представляет одно из первых эмпирических доказательств того, что синтетические видео улучшают физическую достоверность в синтезе видео. Веб-сайт: https://kevinz8866.github.io/simulation/

English

We investigate how to enhance the physical fidelity of video generation models by leveraging synthetic videos derived from computer graphics pipelines. These rendered videos respect real-world physics, such as maintaining 3D consistency, and serve as a valuable resource that can potentially improve video generation models. To harness this potential, we propose a solution that curates and integrates synthetic data while introducing a method to transfer its physical realism to the model, significantly reducing unwanted artifacts. Through experiments on three representative tasks emphasizing physical consistency, we demonstrate its efficacy in enhancing physical fidelity. While our model still lacks a deep understanding of physics, our work offers one of the first empirical demonstrations that synthetic video enhances physical fidelity in video synthesis. Website: https://kevinz8866.github.io/simulation/