DreamGaussian4D: Generazione 4D con Splatting Gaussiano

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

Autori: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

Abstract

Recentemente sono stati compiuti progressi significativi nella generazione di contenuti 4D. Tuttavia, i metodi esistenti presentano tempi di ottimizzazione prolungati, una scarsa controllabilità del movimento e un basso livello di dettaglio. In questo articolo, introduciamo DreamGaussian4D, un framework efficiente per la generazione 4D basato sulla rappresentazione 4D Gaussian Splatting. La nostra intuizione chiave è che la modellazione esplicita delle trasformazioni spaziali nel Gaussian Splatting lo rende più adatto al contesto della generazione 4D rispetto alle rappresentazioni implicite. DreamGaussian4D riduce il tempo di ottimizzazione da diverse ore a pochi minuti, consente un controllo flessibile del movimento 3D generato e produce mesh animate che possono essere renderizzate in modo efficiente nei motori 3D.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.