Ruimtetijd Gaussiaanse Kenmerkensplatting voor Real-Time Dynamische Beeldsynthese

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

Auteurs: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

Samenvatting

Het synthetiseren van nieuwe aanzichten van dynamische scènes is een intrigerend maar uitdagend probleem gebleven. Ondanks recente vooruitgang blijft het gelijktijdig bereiken van hoogwaardige fotorealistische resultaten, real-time rendering en compacte opslag een formidabele taak. Om deze uitdagingen aan te pakken, stellen we Spacetime Gaussian Feature Splatting voor als een nieuwe representatie van dynamische scènes, bestaande uit drie cruciale componenten. Ten eerste formuleren we expressieve Spacetime Gaussians door 3D Gaussians te verrijken met tijdelijke dekking en parametrische beweging/rotatie. Hierdoor kunnen Spacetime Gaussians statische, dynamische en tijdelijke inhoud binnen een scène vastleggen. Ten tweede introduceren we splatted feature rendering, waarbij sferische harmonischen worden vervangen door neurale features. Deze features vergemakkelijken het modelleren van aanzicht- en tijdafhankelijk uiterlijk, terwijl ze klein van formaat blijven. Ten derde maken we gebruik van de begeleiding van trainingsfouten en grove diepte om nieuwe Gaussians te bemonsteren in gebieden die moeilijk te convergeren zijn met bestaande pipelines. Experimenten op verschillende gevestigde real-world datasets tonen aan dat onze methode state-of-the-art renderingkwaliteit en snelheid bereikt, terwijl compacte opslag behouden blijft. Bij een resolutie van 8K kan ons lite-versie model renderen met 60 FPS op een Nvidia RTX 4090 GPU.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.