SelfSplat: Splatting gaussiano tridimensional generalizable sin poses ni prior tridimensional

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

Autores: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

Resumen

Proponemos SelfSplat, un novedoso modelo de Splatting Gaussiano en 3D diseñado para realizar una reconstrucción en 3D generalizable sin postura y sin información previa en 3D a partir de imágenes multivista no poseídas. Estos escenarios son inherentemente mal planteados debido a la falta de datos de verdad terreno, información geométrica aprendida y la necesidad de lograr una reconstrucción precisa en 3D sin ajuste fino, lo que dificulta que los métodos convencionales obtengan resultados de alta calidad. Nuestro modelo aborda estos desafíos integrando de manera efectiva representaciones explícitas en 3D con técnicas de estimación de profundidad y postura auto-supervisadas, lo que resulta en mejoras recíprocas tanto en la precisión de la postura como en la calidad de la reconstrucción en 3D. Además, incorporamos una red de estimación de postura con conciencia de emparejamiento y un módulo de refinamiento de profundidad para mejorar la consistencia geométrica entre vistas, asegurando reconstrucciones en 3D más precisas y estables. Para presentar el rendimiento de nuestro método, lo evaluamos en conjuntos de datos del mundo real a gran escala, incluidos RealEstate10K, ACID y DL3DV. SelfSplat logra resultados superiores a los métodos anteriores de vanguardia tanto en apariencia como en calidad geométrica, y también demuestra sólidas capacidades de generalización entre conjuntos de datos. Estudios de abstracción extensos y análisis también validan la efectividad de nuestros métodos propuestos. El código y los modelos pre-entrenados están disponibles en https://gynjn.github.io/selfsplat/

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/