DreamGaussian4D : Génération de splats gaussiens 4D

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

Auteurs: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

Résumé

Des progrès remarquables ont été réalisés récemment dans la génération de contenu 4D. Cependant, les méthodes existantes souffrent d'un temps d'optimisation long, d'un manque de contrôlabilité du mouvement et d'un niveau de détail insuffisant. Dans cet article, nous présentons DreamGaussian4D, un cadre de génération 4D efficace basé sur la représentation par projection gaussienne 4D. Notre idée clé est que la modélisation explicite des transformations spatiales dans la projection gaussienne la rend plus adaptée au contexte de génération 4D par rapport aux représentations implicites. DreamGaussian4D réduit le temps d'optimisation de plusieurs heures à seulement quelques minutes, permet un contrôle flexible du mouvement 3D généré, et produit des maillages animés qui peuvent être rendus efficacement dans des moteurs 3D.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.