SplatVelden: Neurale Gaussische Splats voor Scha

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Auteurs: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Samenvatting

Het digitaliseren van 3D-statische scènes en 4D-dynamische gebeurtenissen vanuit multi-view beelden is al lange tijd een uitdaging in computer vision en graphics. Onlangs is 3D Gaussian Splatting (3DGS) naar voren gekomen als een praktische en schaalbare reconstructiemethode, die populair is geworden vanwege zijn indrukwekkende reconstructiekwaliteit, real-time rendermogelijkheden en compatibiliteit met veelgebruikte visualisatietools. Echter, de methode vereist een aanzienlijk aantal invoerweergaven om een hoogwaardige scène reconstructie te bereiken, wat een aanzienlijke praktische bottleneck introduceert. Deze uitdaging is vooral ernstig bij het vastleggen van dynamische scènes, waarbij het implementeren van een uitgebreide camerareeks prohibitief duur kan zijn. In dit werk identificeren we het gebrek aan ruimtelijke autocorrelatie van splat-kenmerken als een van de factoren die bijdragen aan de suboptimale prestaties van de 3DGS-techniek in spaarzame reconstructie-instellingen. Om dit probleem aan te pakken, stellen we een optimalisatiestrategie voor die splat-kenmerken effectief reguleert door ze te modelleren als de uitvoer van een overeenkomstig impliciet neuronaal veld. Dit resulteert in een consistente verbetering van de reconstructiekwaliteit in verschillende scenario's. Onze aanpak behandelt effectief statische en dynamische gevallen, zoals gedemonstreerd door uitgebreide tests in verschillende opstellingen en scène complexiteiten.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.