SelfSplat: Pose-frei und 3D-Prior-frei Generalisierbares 3D-Gauß'sches Splatting

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

Autoren: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

Zusammenfassung

Wir schlagen SelfSplat vor, ein neuartiges 3D-Gauß'sches Splatting-Modell, das entwickelt wurde, um eine posenfreie und 3D-vorherfreie generalisierbare 3D-Rekonstruktion aus unposierten Multi-View-Bildern durchzuführen. Diese Einstellungen sind inhärent schlecht gestellt aufgrund des Mangels an Ground-Truth-Daten, erlernten geometrischen Informationen und der Notwendigkeit, eine genaue 3D-Rekonstruktion ohne Feinabstimmung zu erreichen, was es für konventionelle Methoden schwierig macht, qualitativ hochwertige Ergebnisse zu erzielen. Unser Modell begegnet diesen Herausforderungen, indem es explizite 3D-Repräsentationen effektiv mit selbstüberwachter Tiefen- und Posenabschätzungstechniken integriert, was zu wechselseitigen Verbesserungen sowohl bei der Posen-Genauigkeit als auch bei der 3D-Rekonstruktionsqualität führt. Darüber hinaus integrieren wir ein Matching-bewusstes Posenabschätzungssystem und ein Tiefenverfeinerungsmodul, um die geometrische Konsistenz über Ansichten hinweg zu verbessern, was genauere und stabilere 3D-Rekonstruktionen gewährleistet. Um die Leistung unserer Methode zu präsentieren, haben wir sie an umfangreichen realen Datensätzen wie RealEstate10K, ACID und DL3DV evaluiert. SelfSplat erzielt überlegene Ergebnisse gegenüber früheren State-of-the-Art-Methoden sowohl in Erscheinung als auch in geometrischer Qualität und zeigt auch starke Generalisierungsfähigkeiten über verschiedene Datensätze hinweg. Umfangreiche Ablationsstudien und Analysen bestätigen ebenfalls die Wirksamkeit unserer vorgeschlagenen Methoden. Der Code und die vortrainierten Modelle sind unter https://gynjn.github.io/selfsplat/ verfügbar.

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/