Vid3D: Sintesi di scene 3D dinamiche utilizzando la diffusione di video 2D

Vid3D: Synthesis of Dynamic 3D Scenes using 2D Video Diffusion

June 17, 2024

Autori: Rishab Parthasarathy, Zack Ankner, Aaron Gokaslan

cs.AI

Abstract

Una recente frontiera nella visione artificiale è stata il compito della generazione di video 3D, che consiste nel creare una rappresentazione 3D variabile nel tempo di una scena. Per generare scene 3D dinamiche, i metodi attuali modellano esplicitamente le dinamiche temporali 3D ottimizzando congiuntamente la coerenza sia nel tempo che nelle diverse visualizzazioni della scena. In questo articolo, ci chiediamo se sia necessario imporre esplicitamente la coerenza multivista nel tempo, come fanno gli approcci attuali, o se sia sufficiente che un modello generi rappresentazioni 3D di ogni istante temporale in modo indipendente. Proponiamo quindi un modello, Vid3D, che sfrutta la diffusione di video 2D per generare video 3D, generando prima un "seme" 2D delle dinamiche temporali del video e poi creando indipendentemente una rappresentazione 3D per ogni istante temporale nel video seme. Valutiamo Vid3D rispetto a due metodi all'avanguardia per la generazione di video 3D e scopriamo che Vid3D ottiene risultati comparabili nonostante non modelli esplicitamente le dinamiche temporali 3D. Analizziamo inoltre come la qualità di Vid3D dipenda dal numero di visualizzazioni generate per fotogramma. Sebbene osserviamo un certo degrado con un numero inferiore di visualizzazioni, il calo delle prestazioni rimane minimo. I nostri risultati suggeriscono quindi che la conoscenza temporale 3D potrebbe non essere necessaria per generare scene 3D dinamiche di alta qualità, potenzialmente abilitando algoritmi generativi più semplici per questo compito.

English

A recent frontier in computer vision has been the task of 3D video generation, which consists of generating a time-varying 3D representation of a scene. To generate dynamic 3D scenes, current methods explicitly model 3D temporal dynamics by jointly optimizing for consistency across both time and views of the scene. In this paper, we instead investigate whether it is necessary to explicitly enforce multiview consistency over time, as current approaches do, or if it is sufficient for a model to generate 3D representations of each timestep independently. We hence propose a model, Vid3D, that leverages 2D video diffusion to generate 3D videos by first generating a 2D "seed" of the video's temporal dynamics and then independently generating a 3D representation for each timestep in the seed video. We evaluate Vid3D against two state-of-the-art 3D video generation methods and find that Vid3D is achieves comparable results despite not explicitly modeling 3D temporal dynamics. We further ablate how the quality of Vid3D depends on the number of views generated per frame. While we observe some degradation with fewer views, performance degradation remains minor. Our results thus suggest that 3D temporal knowledge may not be necessary to generate high-quality dynamic 3D scenes, potentially enabling simpler generative algorithms for this task.