Raumzeitliches Gaußsches Feature-Splatting für Echtzeit-Dynamische Ansichtssynthese

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

Autoren: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

Zusammenfassung

Die Synthese neuer Ansichten dynamischer Szenen stellt ein faszinierendes, aber herausforderndes Problem dar. Trotz jüngster Fortschritte bleibt es eine schwierige Aufgabe, gleichzeitig hochauflösende, fotorealistische Ergebnisse, Echtzeit-Rendering und kompakte Speicherung zu erreichen. Um diese Herausforderungen zu bewältigen, schlagen wir Spacetime Gaussian Feature Splatting als neuartige Darstellung dynamischer Szenen vor, die aus drei zentralen Komponenten besteht. Erstens formulieren wir ausdrucksstarke Spacetime Gaussians, indem wir 3D-Gaussians durch zeitliche Opazität und parametrische Bewegung/Rotation erweitern. Dies ermöglicht es Spacetime Gaussians, statische, dynamische sowie vorübergehende Inhalte innerhalb einer Szene zu erfassen. Zweitens führen wir das Rendering von gesplatteten Features ein, das sphärische Harmoniken durch neuronale Features ersetzt. Diese Features erleichtern die Modellierung der ansichts- und zeitabhängigen Erscheinung bei gleichzeitig geringer Größe. Drittens nutzen wir die Anleitung durch Trainingsfehler und grobe Tiefe, um neue Gaussians in Bereichen zu samplen, die mit bestehenden Pipelines schwer zu konvergieren sind. Experimente auf mehreren etablierten realen Datensätzen zeigen, dass unsere Methode eine erstklassige Rendering-Qualität und Geschwindigkeit erreicht, während sie kompakte Speicherung beibehält. Bei einer Auflösung von 8K kann unser Lite-Version-Modell mit 60 FPS auf einer Nvidia RTX 4090 GPU rendern.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.