DreamGaussian4D: Geração de Splatting Gaussiano 4D
DreamGaussian4D: Generative 4D Gaussian Splatting
December 28, 2023
Autores: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu
cs.AI
Resumo
Progressos notáveis têm sido alcançados recentemente na geração de conteúdo 4D. No entanto, os métodos existentes sofrem com tempo de otimização prolongado, falta de controlabilidade do movimento e baixo nível de detalhe. Neste artigo, apresentamos o DreamGaussian4D, um framework eficiente para geração 4D que se baseia na representação de 4D Gaussian Splatting. Nossa principal percepção é que a modelagem explícita de transformações espaciais no Gaussian Splatting o torna mais adequado para o cenário de geração 4D em comparação com representações implícitas. O DreamGaussian4D reduz o tempo de otimização de várias horas para apenas alguns minutos, permite controle flexível do movimento 3D gerado e produz malhas animadas que podem ser renderizadas de forma eficiente em motores 3D.
English
Remarkable progress has been made in 4D content generation recently. However,
existing methods suffer from long optimization time, lack of motion
controllability, and a low level of detail. In this paper, we introduce
DreamGaussian4D, an efficient 4D generation framework that builds on 4D
Gaussian Splatting representation. Our key insight is that the explicit
modeling of spatial transformations in Gaussian Splatting makes it more
suitable for the 4D generation setting compared with implicit representations.
DreamGaussian4D reduces the optimization time from several hours to just a few
minutes, allows flexible control of the generated 3D motion, and produces
animated meshes that can be efficiently rendered in 3D engines.