SelfSplat : Étalement gaussien 3D généralisable sans contrainte de pose et sans préalable 3D

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

Auteurs: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

Résumé

Nous proposons SelfSplat, un nouveau modèle de Splatting Gaussien 3D conçu pour réaliser une reconstruction 3D généralisable sans pose et sans prior 3D à partir d'images multi-vues non posées. Ces paramètres sont intrinsèquement mal posés en raison du manque de données de vérité terrain, d'informations géométriques apprises, et de la nécessité d'obtenir une reconstruction 3D précise sans fine-tuning, rendant difficile pour les méthodes conventionnelles d'atteindre des résultats de haute qualité. Notre modèle relève ces défis en intégrant efficacement des représentations 3D explicites avec des techniques d'estimation de profondeur et de pose auto-supervisées, entraînant des améliorations réciproques à la fois dans la précision de la pose et la qualité de la reconstruction 3D. De plus, nous incorporons un réseau d'estimation de pose conscient de la correspondance et un module de raffinement de profondeur pour améliorer la cohérence géométrique entre les vues, garantissant des reconstructions 3D plus précises et stables. Pour présenter les performances de notre méthode, nous l'avons évaluée sur des ensembles de données réels à grande échelle, comprenant RealEstate10K, ACID et DL3DV. SelfSplat obtient des résultats supérieurs aux méthodes précédentes de pointe à la fois en termes de qualité d'apparence et de géométrie, démontrant également de solides capacités de généralisation entre ensembles de données. Des études d'ablation approfondies et des analyses valident également l'efficacité de nos méthodes proposées. Le code et les modèles pré-entraînés sont disponibles sur https://gynjn.github.io/selfsplat/

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/