SelfSplat：ポーズフリーかつ3D事前フリーの汎用的な3Dガウススプラッティング

SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting

November 26, 2024

著者: Gyeongjin Kang, Jisang Yoo, Jihyeon Park, Seungtae Nam, Hyeonsoo Im, Sangheon Shin, Sangpil Kim, Eunbyung Park

cs.AI

要旨

私たちは、SelfSplatという新しい3Dガウススプラッティングモデルを提案しています。このモデルは、ポーズフリーであり、3D事前情報を必要とせず、未ポーズのマルチビュー画像からの3D再構築を汎用的に行うよう設計されています。これらの設定は、正確な3D再構築を達成する必要があるにもかかわらず、正解データや学習された幾何学情報が不足しているため、従来の方法が高品質な結果を達成するのが難しいという困難を抱えています。私たちのモデルは、明示的な3D表現を自己監督型の深度およびポーズ推定技術と効果的に統合することで、ポーズの精度と3D再構築の品質の相互的な改善を実現しています。さらに、一致を考慮したポーズ推定ネットワークと深度の調整モジュールを組み込むことで、ビュー間のジオメトリの整合性を向上させ、より正確で安定した3D再構築を実現しています。私たちの手法の性能を示すために、RealEstate10K、ACID、DL3DVなどの大規模な実世界データセットで評価しました。SelfSplatは、外観およびジオメトリの品質の両方で従来の最先端の手法よりも優れた結果を達成し、また強力なクロスデータセットの汎化能力を示しています。包括的な削除研究と分析も、私たちの提案手法の有効性を検証しています。コードと事前学習済みモデルは、https://gynjn.github.io/selfsplat/ で入手可能です。

English

We propose SelfSplat, a novel 3D Gaussian Splatting model designed to perform pose-free and 3D prior-free generalizable 3D reconstruction from unposed multi-view images. These settings are inherently ill-posed due to the lack of ground-truth data, learned geometric information, and the need to achieve accurate 3D reconstruction without finetuning, making it difficult for conventional methods to achieve high-quality results. Our model addresses these challenges by effectively integrating explicit 3D representations with self-supervised depth and pose estimation techniques, resulting in reciprocal improvements in both pose accuracy and 3D reconstruction quality. Furthermore, we incorporate a matching-aware pose estimation network and a depth refinement module to enhance geometry consistency across views, ensuring more accurate and stable 3D reconstructions. To present the performance of our method, we evaluated it on large-scale real-world datasets, including RealEstate10K, ACID, and DL3DV. SelfSplat achieves superior results over previous state-of-the-art methods in both appearance and geometry quality, also demonstrates strong cross-dataset generalization capabilities. Extensive ablation studies and analysis also validate the effectiveness of our proposed methods. Code and pretrained models are available at https://gynjn.github.io/selfsplat/