Vid3D: Synthese van dynamische 3D-scènes met behulp van 2D video-diffusie

Vid3D: Synthesis of Dynamic 3D Scenes using 2D Video Diffusion

June 17, 2024

Auteurs: Rishab Parthasarathy, Zack Ankner, Aaron Gokaslan

cs.AI

Samenvatting

Een recente grens in computervisie is de taak van 3D-videogeneratie, die bestaat uit het genereren van een tijdsvariërende 3D-representatie van een scène. Om dynamische 3D-scènes te genereren, modelleren huidige methoden expliciet 3D-temporele dynamiek door gezamenlijk te optimaliseren voor consistentie over zowel tijd als verschillende aanzichten van de scène. In dit artikel onderzoeken we in plaats daarvan of het noodzakelijk is om expliciet multiview-consistentie over tijd af te dwingen, zoals huidige benaderingen doen, of dat het voldoende is voor een model om 3D-representaties van elk tijdstip onafhankelijk te genereren. We stellen daarom een model voor, Vid3D, dat gebruikmaakt van 2D-videodiffusie om 3D-video's te genereren door eerst een 2D-"zaadje" van de temporele dynamiek van de video te genereren en vervolgens onafhankelijk een 3D-representatie voor elk tijdstip in de zaadvideo te genereren. We evalueren Vid3D tegen twee state-of-the-art methoden voor 3D-videogeneratie en ontdekken dat Vid3D vergelijkbare resultaten behaalt, ondanks dat het geen expliciete 3D-temporele dynamiek modelleert. We onderzoeken verder hoe de kwaliteit van Vid3D afhangt van het aantal gegenereerde aanzichten per frame. Hoewel we enige degradatie waarnemen bij minder aanzichten, blijft de prestatievermindering beperkt. Onze resultaten suggereren dus dat 3D-temporele kennis mogelijk niet noodzakelijk is om hoogwaardige dynamische 3D-scènes te genereren, wat potentieel eenvoudigere generatieve algoritmen voor deze taak mogelijk maakt.

English

A recent frontier in computer vision has been the task of 3D video generation, which consists of generating a time-varying 3D representation of a scene. To generate dynamic 3D scenes, current methods explicitly model 3D temporal dynamics by jointly optimizing for consistency across both time and views of the scene. In this paper, we instead investigate whether it is necessary to explicitly enforce multiview consistency over time, as current approaches do, or if it is sufficient for a model to generate 3D representations of each timestep independently. We hence propose a model, Vid3D, that leverages 2D video diffusion to generate 3D videos by first generating a 2D "seed" of the video's temporal dynamics and then independently generating a 3D representation for each timestep in the seed video. We evaluate Vid3D against two state-of-the-art 3D video generation methods and find that Vid3D is achieves comparable results despite not explicitly modeling 3D temporal dynamics. We further ablate how the quality of Vid3D depends on the number of views generated per frame. While we observe some degradation with fewer views, performance degradation remains minor. Our results thus suggest that 3D temporal knowledge may not be necessary to generate high-quality dynamic 3D scenes, potentially enabling simpler generative algorithms for this task.