DreamGaussian4D: 생성적 4D 가우시안 스플래팅

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

저자: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

초록

최근 4D 콘텐츠 생성 분야에서 놀라운 진전이 이루어졌습니다. 그러나 기존 방법들은 긴 최적화 시간, 움직임 제어성의 부족, 그리고 낮은 디테일 수준 등의 문제를 안고 있습니다. 본 논문에서는 4D Gaussian Splatting 표현을 기반으로 한 효율적인 4D 생성 프레임워크인 DreamGaussian4D를 소개합니다. 우리의 핵심 통찰은 Gaussian Splatting의 공간 변환에 대한 명시적 모델링이 암묵적 표현에 비해 4D 생성 설정에 더 적합하다는 점입니다. DreamGaussian4D는 최적화 시간을 몇 시간에서 단 몇 분으로 단축하며, 생성된 3D 모션을 유연하게 제어할 수 있고, 3D 엔진에서 효율적으로 렌더링할 수 있는 애니메이션 메시를 생성합니다.

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.