Synthèse de vues dynamiques en temps réel par projection de caractéristiques gaussiennes spatio-temporelles

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

Auteurs: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

Résumé

La synthèse de nouvelles vues pour des scènes dynamiques constitue un problème fascinant mais complexe. Malgré les avancées récentes, atteindre simultanément des résultats photoréalistes en haute résolution, un rendu en temps réel et un stockage compact reste une tâche ardue. Pour relever ces défis, nous proposons le "Spacetime Gaussian Feature Splatting" comme nouvelle représentation de scènes dynamiques, composée de trois éléments clés. Premièrement, nous formulons des "Spacetime Gaussians" expressifs en enrichissant des Gaussiennes 3D avec une opacité temporelle et un mouvement/rotation paramétrique. Cela permet aux Spacetime Gaussians de capturer à la fois le contenu statique, dynamique et transitoire d'une scène. Deuxièmement, nous introduisons le rendu par projection de caractéristiques ("splatted feature rendering"), qui remplace les harmoniques sphériques par des caractéristiques neuronales. Ces caractéristiques facilitent la modélisation de l'apparence dépendante de la vue et du temps tout en conservant une taille réduite. Troisièmement, nous exploitons l'erreur d'entraînement et une profondeur approximative pour échantillonner de nouvelles Gaussiennes dans les zones difficiles à converger avec les pipelines existants. Les expériences menées sur plusieurs ensembles de données réels établis démontrent que notre méthode atteint une qualité et une vitesse de rendu de pointe, tout en conservant un stockage compact. À une résolution de 8K, notre modèle version légère peut effectuer un rendu à 60 FPS sur une carte graphique Nvidia RTX 4090.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.