DreamGaussian4D: 生成的4Dガウススプラッティング

DreamGaussian4D: Generative 4D Gaussian Splatting

December 28, 2023

著者: Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu

cs.AI

要旨

近年、4Dコンテンツ生成において目覚ましい進展が見られています。しかし、既存の手法は最適化時間が長い、モーションの制御性に欠ける、詳細度が低いといった課題を抱えています。本論文では、4D Gaussian Splatting表現を基盤とした効率的な4D生成フレームワークであるDreamGaussian4Dを提案します。我々の重要な洞察は、Gaussian Splattingにおける空間変換の明示的なモデリングが、暗黙的な表現と比較して4D生成設定により適しているという点です。DreamGaussian4Dは、最適化時間を数時間からわずか数分に短縮し、生成される3Dモーションの柔軟な制御を可能にし、3Dエンジンで効率的にレンダリング可能なアニメーションメッシュを生成します。

English

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.