DreamGaussian4D: Генеративное 4D-размытие по методу Гаусса

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

Авторы: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

Аннотация

В последнее время был достигнут значительный прогресс в генерации 4D-контента. Однако существующие методы страдают от длительного времени оптимизации, отсутствия управляемости движением и низкого уровня детализации. В данной статье мы представляем DreamGaussian4D — эффективный фреймворк для генерации 4D-контента, основанный на представлении 4D Gaussian Splatting. Наше ключевое наблюдение заключается в том, что явное моделирование пространственных преобразований в Gaussian Splatting делает его более подходящим для задач 4D-генерации по сравнению с неявными представлениями. DreamGaussian4D сокращает время оптимизации с нескольких часов до нескольких минут, позволяет гибко управлять генерируемым 3D-движением и создает анимированные меши, которые могут быть эффективно отрендерены в 3D-движках.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.