SelfSplat: Splatting Gaussiano 3D Generalizável sem Restrições de Pose e sem Prévias em 3D

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

Autores: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

Resumo

Propomos o SelfSplat, um novo modelo de Splatting Gaussiano 3D projetado para realizar reconstruções 3D generalizáveis livres de pose e prévias 3D a partir de imagens multivisão não posadas. Essas configurações são inerentemente mal-postas devido à falta de dados de verdade terrestre, informações geométricas aprendidas e à necessidade de obter uma reconstrução 3D precisa sem ajustes finos, tornando difícil para métodos convencionais alcançar resultados de alta qualidade. Nosso modelo aborda esses desafios integrando efetivamente representações 3D explícitas com técnicas de estimativa de profundidade e pose auto-supervisionadas, resultando em melhorias recíprocas tanto na precisão da pose quanto na qualidade da reconstrução 3D. Além disso, incorporamos uma rede de estimativa de pose consciente de correspondência e um módulo de refinamento de profundidade para aprimorar a consistência geométrica entre as visualizações, garantindo reconstruções 3D mais precisas e estáveis. Para apresentar o desempenho de nosso método, avaliamos em conjuntos de dados do mundo real em larga escala, incluindo RealEstate10K, ACID e DL3DV. O SelfSplat alcança resultados superiores em relação aos métodos anteriores de ponta, tanto em termos de qualidade de aparência quanto de geometria, além de demonstrar fortes capacidades de generalização entre conjuntos de dados. Estudos de ablação extensivos e análises também validam a eficácia de nossos métodos propostos. O código e os modelos pré-treinados estão disponíveis em https://gynjn.github.io/selfsplat/

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/