Champs de Splat : Éclats gaussiens neuronaux pour la reconstruction 3D et 4D parcimonieuse

SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

September 17, 2024

Auteurs: Marko Mihajlovic, Sergey Prokudin, Siyu Tang, Robert Maier, Federica Bogo, Tony Tung, Edmond Boyer

cs.AI

Résumé

La numérisation des scènes 3D statiques et des événements dynamiques 4D à partir d'images multi-vues a longtemps été un défi en vision par ordinateur et en infographie. Récemment, le Splatting Gaussien 3D (3DGS) a émergé comme une méthode de reconstruction pratique et évolutive, gagnant en popularité en raison de sa qualité de reconstruction impressionnante, de ses capacités de rendu en temps réel et de sa compatibilité avec des outils de visualisation largement utilisés. Cependant, la méthode nécessite un nombre substantiel de vues d'entrée pour obtenir une reconstruction de scène de haute qualité, introduisant un goulot d'étranglement pratique significatif. Ce défi est particulièrement sévère dans la capture de scènes dynamiques, où le déploiement d'un grand nombre de caméras peut être excessivement coûteux. Dans ce travail, nous identifions le manque d'autocorrélation spatiale des caractéristiques de splat comme l'un des facteurs contribuant à la performance suboptimale de la technique 3DGS dans des configurations de reconstruction clairsemée. Pour résoudre ce problème, nous proposons une stratégie d'optimisation qui régularise efficacement les caractéristiques de splat en les modélisant comme les sorties d'un champ neuronal implicite correspondant. Cela se traduit par une amélioration cohérente de la qualité de la reconstruction dans divers scénarios. Notre approche gère efficacement les cas statiques et dynamiques, comme le démontre des tests approfondis sur différentes configurations et complexités de scène.

English

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.