Vid3D: Синтез динамических 3D сцен с использованием диффузии 2D видео

Vid3D: Synthesis of Dynamic 3D Scenes using 2D Video Diffusion

June 17, 2024

Авторы: Rishab Parthasarathy, Zack Ankner, Aaron Gokaslan

cs.AI

Аннотация

Недавним фронтиром в компьютерном зрении стала задача генерации 3D-видео, которая заключается в создании изменяющегося со временем 3D-представления сцены. Для генерации динамических 3D-сцен текущие методы явно моделируют 3D-временную динамику, совместно оптимизируя согласованность как по времени, так и по видам сцены. В данной статье мы исследуем, необходимо ли явно обеспечивать многовидовую согласованность во времени, как это делают существующие подходы, или достаточно ли модели генерировать 3D-представления для каждого временного шага независимо. Мы предлагаем модель Vid3D, которая использует диффузию 2D-видео для генерации 3D-видео, сначала создавая 2D "зерно" временной динамики видео, а затем независимо генерируя 3D-представление для каждого временного шага в видеозерне. Мы оцениваем Vid3D по сравнению с двумя передовыми методами генерации 3D-видео и обнаруживаем, что Vid3D достигает сравнимых результатов, не явно моделируя 3D-временную динамику. Мы также анализируем, как качество Vid3D зависит от количества видов, генерируемых на каждый кадр. Хотя мы наблюдаем некоторое ухудшение при меньшем количестве видов, деградация производительности остается незначительной. Таким образом, наши результаты показывают, что знание 3D-времени может быть необязательным для генерации высококачественных динамических 3D-сцен, что потенциально позволяет использовать более простые генеративные алгоритмы для этой задачи.

English

A recent frontier in computer vision has been the task of 3D video generation, which consists of generating a time-varying 3D representation of a scene. To generate dynamic 3D scenes, current methods explicitly model 3D temporal dynamics by jointly optimizing for consistency across both time and views of the scene. In this paper, we instead investigate whether it is necessary to explicitly enforce multiview consistency over time, as current approaches do, or if it is sufficient for a model to generate 3D representations of each timestep independently. We hence propose a model, Vid3D, that leverages 2D video diffusion to generate 3D videos by first generating a 2D "seed" of the video's temporal dynamics and then independently generating a 3D representation for each timestep in the seed video. We evaluate Vid3D against two state-of-the-art 3D video generation methods and find that Vid3D is achieves comparable results despite not explicitly modeling 3D temporal dynamics. We further ablate how the quality of Vid3D depends on the number of views generated per frame. While we observe some degradation with fewer views, performance degradation remains minor. Our results thus suggest that 3D temporal knowledge may not be necessary to generate high-quality dynamic 3D scenes, potentially enabling simpler generative algorithms for this task.