DreamGaussian4D: Generación de Splatting Gaussiano 4D

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

Autores: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

Resumen

Se ha logrado un progreso notable en la generación de contenido 4D recientemente. Sin embargo, los métodos existentes adolecen de tiempos de optimización prolongados, falta de controlabilidad del movimiento y un bajo nivel de detalle. En este artículo, presentamos DreamGaussian4D, un marco eficiente para la generación 4D que se basa en la representación de 4D Gaussian Splatting. Nuestra idea clave es que el modelado explícito de transformaciones espaciales en Gaussian Splatting lo hace más adecuado para el entorno de generación 4D en comparación con las representaciones implícitas. DreamGaussian4D reduce el tiempo de optimización de varias horas a solo unos minutos, permite un control flexible del movimiento 3D generado y produce mallas animadas que pueden renderizarse eficientemente en motores 3D.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.