DreamGaussian4D: Generatief 4D Gaussisch Splatten

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

Auteurs: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

Samenvatting

Er is onlangs opmerkelijke vooruitgang geboekt in 4D-contentgeneratie. Bestaande methoden kampen echter met lange optimalisatietijden, een gebrek aan bewegingsbestuurbaarheid en een laag detailniveau. In dit artikel introduceren we DreamGaussian4D, een efficiënt 4D-generatieframework dat voortbouwt op de 4D Gaussian Splatting-representatie. Onze belangrijkste inzicht is dat de expliciete modellering van ruimtelijke transformaties in Gaussian Splatting het geschikter maakt voor de 4D-generatie-instelling in vergelijking met impliciete representaties. DreamGaussian4D reduceert de optimalisatietijd van enkele uren tot slechts een paar minuten, biedt flexibele controle over de gegenereerde 3D-beweging en produceert geanimeerde meshes die efficiënt kunnen worden gerenderd in 3D-engines.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.