Allinea i tuoi Gaussiani: Testo-a-4D con Gaussiani 3D Dinamici e Modelli di Diffusione Composti

Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models

December 21, 2023

Autori: Huan Ling, Seung Wook Kim, Antonio Torralba, Sanja Fidler, Karsten Kreis

cs.AI

Abstract

I modelli di diffusione guidati da testo hanno rivoluzionato la generazione di immagini e video e sono stati utilizzati con successo anche per la sintesi di oggetti 3D basata su ottimizzazione. In questo lavoro, ci concentriamo invece sul contesto poco esplorato del testo-a-4D e sintetizziamo oggetti 3D dinamici e animati utilizzando metodi di distillazione del punteggio con una dimensione temporale aggiuntiva. Rispetto ai lavori precedenti, perseguiamo un approccio innovativo basato sulla generazione composizionale, combinando modelli di diffusione testo-a-immagine, testo-a-video e multivista 3D per fornire feedback durante l'ottimizzazione di oggetti 4D, garantendo così coerenza temporale, aspetto visivo di alta qualità e geometria realistica. Il nostro metodo, chiamato Align Your Gaussians (AYG), sfrutta il Dynamic 3D Gaussian Splatting con campi di deformazione come rappresentazione 4D. Cruciale per AYG è un nuovo metodo per regolarizzare la distribuzione dei Gaussiani 3D in movimento, stabilizzando così l'ottimizzazione e inducendo il movimento. Proponiamo inoltre un meccanismo di amplificazione del movimento e un nuovo schema di sintesi autoregressiva per generare e combinare più sequenze 4D per generazioni più lunghe. Queste tecniche ci consentono di sintetizzare scene dinamiche vivaci, superando qualitativamente e quantitativamente i lavori precedenti e raggiungendo prestazioni all'avanguardia nel testo-a-4D. Grazie alla rappresentazione 4D basata su Gaussiani, diverse animazioni 4D possono essere combinate in modo fluido, come dimostriamo. AYG apre nuove promettenti strade per l'animazione, la simulazione, la creazione di contenuti digitali e la generazione di dati sintetici.

English

Text-guided diffusion models have revolutionized image and video generation and have also been successfully used for optimization-based 3D object synthesis. Here, we instead focus on the underexplored text-to-4D setting and synthesize dynamic, animated 3D objects using score distillation methods with an additional temporal dimension. Compared to previous work, we pursue a novel compositional generation-based approach, and combine text-to-image, text-to-video, and 3D-aware multiview diffusion models to provide feedback during 4D object optimization, thereby simultaneously enforcing temporal consistency, high-quality visual appearance and realistic geometry. Our method, called Align Your Gaussians (AYG), leverages dynamic 3D Gaussian Splatting with deformation fields as 4D representation. Crucial to AYG is a novel method to regularize the distribution of the moving 3D Gaussians and thereby stabilize the optimization and induce motion. We also propose a motion amplification mechanism as well as a new autoregressive synthesis scheme to generate and combine multiple 4D sequences for longer generation. These techniques allow us to synthesize vivid dynamic scenes, outperform previous work qualitatively and quantitatively and achieve state-of-the-art text-to-4D performance. Due to the Gaussian 4D representation, different 4D animations can be seamlessly combined, as we demonstrate. AYG opens up promising avenues for animation, simulation and digital content creation as well as synthetic data generation.