Splat-Felder: Neuronale Gauss'sche Splat-Operationen für die spärliche 3D- und 4D-Rekonstruktion.

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Autoren: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Zusammenfassung

Die Digitalisierung von 3D-Statikszenen und 4D-dynamischen Ereignissen aus Multi-View-Bildern war lange Zeit eine Herausforderung in den Bereichen Computer Vision und Grafik. In letzter Zeit hat sich das 3D-Gauß-Splatting (3DGS) als eine praktische und skalierbare Rekonstruktionsmethode etabliert, die aufgrund ihrer beeindruckenden Rekonstruktionsqualität, Echtzeit-Rendering-Fähigkeiten und Kompatibilität mit weit verbreiteten Visualisierungstools an Popularität gewonnen hat. Allerdings erfordert die Methode eine beträchtliche Anzahl von Eingabeblickwinkeln, um eine hochwertige Szenenrekonstruktion zu erreichen, was einen signifikanten praktischen Engpass darstellt. Diese Herausforderung ist besonders gravierend bei der Erfassung von dynamischen Szenen, bei denen der Einsatz eines umfangreichen Kamerarrays prohibitiv teuer sein kann. In dieser Arbeit identifizieren wir das Fehlen von räumlicher Autokorrelation von Splat-Merkmalen als einen der Faktoren, die zur suboptimalen Leistung der 3DGS-Technik in spärlichen Rekonstruktionsumgebungen beitragen. Um das Problem anzugehen, schlagen wir eine Optimierungsstrategie vor, die Splat-Merkmale effektiv regelt, indem sie als Ausgaben eines entsprechenden impliziten neuronalen Feldes modelliert werden. Dies führt zu einer konsistenten Verbesserung der Rekonstruktionsqualität in verschiedenen Szenarien. Unser Ansatz bewältigt statische und dynamische Fälle effektiv, wie durch umfangreiche Tests in verschiedenen Setups und Szenenkomplexitäten nachgewiesen wurde.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.