DreamGaussian4D: Generatives 4D-Gaußsches Splatting

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

Autoren: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

Zusammenfassung

In jüngster Zeit wurden bemerkenswerte Fortschritte in der 4D-Inhaltsgenerierung erzielt. Allerdings leiden bestehende Methoden unter langen Optimierungszeiten, mangelnder Bewegungssteuerbarkeit und einem geringen Detaillierungsgrad. In diesem Artikel stellen wir DreamGaussian4D vor, ein effizientes 4D-Generierungsframework, das auf der 4D-Gaussian-Splatting-Darstellung aufbaut. Unsere zentrale Erkenntnis ist, dass die explizite Modellierung räumlicher Transformationen in Gaussian Splatting es im Vergleich zu impliziten Darstellungen besser für die 4D-Generierung geeignet macht. DreamGaussian4D reduziert die Optimierungszeit von mehreren Stunden auf nur wenige Minuten, ermöglicht eine flexible Steuerung der generierten 3D-Bewegung und erzeugt animierte Meshes, die effizient in 3D-Engines gerendert werden können.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.