SelfSplat: Houdingvrij en 3D Vooraf Vrij Algemeen Toepasbaar 3D Gaussisch Splatting

Samenvatting

Wij stellen SelfSplat voor, een nieuw 3D Gaussisch Splatting model dat is ontworpen om pose-vrije en 3D-voorafgaande-vrije generaliseerbare 3D-reconstructie uit ongeposeerde multi-view afbeeldingen uit te voeren. Deze instellingen zijn inherent slecht bepaald vanwege het ontbreken van grondwaarheidsgegevens, geleerde geometrische informatie, en de noodzaak om nauwkeurige 3D-reconstructie te bereiken zonder fine-tuning, waardoor het moeilijk is voor conventionele methoden om hoogwaardige resultaten te behalen. Ons model pakt deze uitdagingen aan door expliciete 3D-representaties effectief te integreren met zelf-toezicht diepte- en pose schattingstechnieken, resulterend in wederzijdse verbeteringen in zowel pose nauwkeurigheid als 3D-reconstructiekwaliteit. Bovendien nemen we een matching-bewuste pose schattingsnetwerk en een diepte-verfijningsmodule op om geometrische consistentie over weergaven te verbeteren, wat zorgt voor meer nauwkeurige en stabiele 3D-reconstructies. Om de prestaties van onze methode te presenteren, hebben we deze geëvalueerd op grootschalige real-world datasets, waaronder RealEstate10K, ACID, en DL3DV. SelfSplat behaalt superieure resultaten ten opzichte van eerdere state-of-the-art methoden in zowel uiterlijk als geometrische kwaliteit, en toont ook sterke generalisatiecapaciteiten over datasets heen. Uitgebreide ablatie studies en analyses bevestigen ook de effectiviteit van onze voorgestelde methoden. Code en vooraf getrainde modellen zijn beschikbaar op https://gynjn.github.io/selfsplat/

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/

SelfSplat: Houdingvrij en 3D Vooraf Vrij Algemeen Toepasbaar 3D Gaussisch Splatting

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

Samenvatting

Support