Splatfacto-W: Eine Nerfstudio-Implementierung des Gauss'schen Splatting für unbeschränkte Fotosammlungen

Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections

July 17, 2024

Autoren: Congrong Xu, Justin Kerr, Angjoo Kanazawa

cs.AI

Zusammenfassung

Die Synthese neuer Ansichten aus unbeschränkten Bildersammlungen in freier Wildbahn bleibt eine bedeutende, aber herausfordernde Aufgabe aufgrund von photometrischen Variationen und vorübergehenden Verdeckungen, die eine präzise Szenenrekonstruktion erschweren. Frühere Methoden haben diese Probleme angegangen, indem sie pro-Bild-Erscheinungsmerkmale in Neuronalen Strahlungsfeldern (NeRFs) integriert haben. Obwohl die 3D-Gaußsche Splatting (3DGS) ein schnelleres Training und Echtzeit-Rendering bietet, ist es nicht trivial, sie für unbeschränkte Bildersammlungen anzupassen, aufgrund der wesentlich unterschiedlichen Architektur. In diesem Papier stellen wir Splatfacto-W vor, einen Ansatz, der pro-gaußsche neuronale Farbmerkmale und pro-Bild-Erscheinungseinbettungen in den Rasterisierungsprozess integriert, zusammen mit einem auf sphärischen Harmonien basierenden Hintergrundmodell, um variierende photometrische Erscheinungen darzustellen und Hintergründe besser abzubilden. Unsere Hauptbeiträge umfassen die Modellierung latenter Erscheinungen, die effiziente Handhabung vorübergehender Objekte und die präzise Modellierung des Hintergrunds. Splatfacto-W liefert eine qualitativ hochwertige, Echtzeit-Synthese neuer Ansichten mit verbesserter Szenenkonsistenz in freien Wildbahn-Szenarien. Unsere Methode verbessert das Peak Signal-to-Noise Ratio (PSNR) im Durchschnitt um 5,3 dB im Vergleich zu 3DGS, erhöht die Trainingsgeschwindigkeit um das 150-fache im Vergleich zu NeRF-basierten Methoden und erreicht eine ähnliche Rendering-Geschwindigkeit wie 3DGS. Zusätzliche Videoergebnisse und der integrierte Code in Nerfstudio sind verfügbar unter https://kevinxu02.github.io/splatfactow/.

English

Novel view synthesis from unconstrained in-the-wild image collections remains a significant yet challenging task due to photometric variations and transient occluders that complicate accurate scene reconstruction. Previous methods have approached these issues by integrating per-image appearance features embeddings in Neural Radiance Fields (NeRFs). Although 3D Gaussian Splatting (3DGS) offers faster training and real-time rendering, adapting it for unconstrained image collections is non-trivial due to the substantially different architecture. In this paper, we introduce Splatfacto-W, an approach that integrates per-Gaussian neural color features and per-image appearance embeddings into the rasterization process, along with a spherical harmonics-based background model to represent varying photometric appearances and better depict backgrounds. Our key contributions include latent appearance modeling, efficient transient object handling, and precise background modeling. Splatfacto-W delivers high-quality, real-time novel view synthesis with improved scene consistency in in-the-wild scenarios. Our method improves the Peak Signal-to-Noise Ratio (PSNR) by an average of 5.3 dB compared to 3DGS, enhances training speed by 150 times compared to NeRF-based methods, and achieves a similar rendering speed to 3DGS. Additional video results and code integrated into Nerfstudio are available at https://kevinxu02.github.io/splatfactow/.