SelfSplat: Без учета позы и без учета 3D априори обобщенный 3D гауссовский сплеттинг

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

Авторы: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

Аннотация

Мы предлагаем SelfSplat, новую модель трехмерного гауссовского сглаживания, разработанную для выполнения безусловной и без трехмерных априорных данных общей трехмерной реконструкции из непозированных многокамерных изображений. Эти настройки по своей природе недостаточно определены из-за отсутствия исходных данных, изученной геометрической информации и необходимости достижения точной трехмерной реконструкции без донастройки, что затрудняет достижение высококачественных результатов с помощью традиционных методов. Наша модель решает эти проблемы путем эффективного интегрирования явных трехмерных представлений с техниками самообучения глубины и оценки позы, что приводит к взаимным улучшениям как в точности позы, так и в качестве трехмерной реконструкции. Кроме того, мы включаем сеть оценки позы, учитывающую сопоставление, и модуль уточнения глубины для улучшения согласованности геометрии между видами, обеспечивая более точные и стабильные трехмерные реконструкции. Для демонстрации производительности нашего метода мы оценили его на крупных реальных наборах данных, включая RealEstate10K, ACID и DL3DV. SelfSplat достигает превосходных результатов по сравнению с предыдущими передовыми методами как по качеству внешнего вида, так и геометрии, а также демонстрирует сильные возможности обобщения на различные наборы данных. Обширные исследования и анализ также подтверждают эффективность наших предложенных методов. Код и предварительно обученные модели доступны по адресу https://gynjn.github.io/selfsplat/

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/