InstantSplat : Reconstruction par Splatting Gaussien Illimité sans Pose et à Vues Sparse en 40 Secondes

InstantSplat: Unbounded Sparse-view Pose-free Gaussian Splatting in 40 Seconds

March 29, 2024

Auteurs: Zhiwen Fan, Wenyan Cong, Kairun Wen, Kevin Wang, Jian Zhang, Xinghao Ding, Danfei Xu, Boris Ivanovic, Marco Pavone, Georgios Pavlakos, Zhangyang Wang, Yue Wang

cs.AI

Résumé

Alors que la synthèse de nouvelles vues (NVS) a réalisé des progrès substantiels en vision par ordinateur 3D, elle nécessite généralement une estimation initiale des paramètres intrinsèques et extrinsèques de la caméra à partir de points de vue denses. Ce prétraitement est généralement effectué via un pipeline de Structure-from-Motion (SfM), une procédure qui peut être lente et peu fiable, en particulier dans des scénarios à vues éparses avec des caractéristiques correspondantes insuffisantes pour une reconstruction précise. Dans ce travail, nous intégrons les forces des représentations basées sur des points (par exemple, 3D Gaussian Splatting, 3D-GS) avec des modèles de stéréo dense de bout en bout (DUSt3R) pour aborder les problèmes complexes et non résolus de la NVS dans des contextes non contraints, qui englobent les défis de poses libres et de vues éparses. Notre framework, InstantSplat, unifie les a priori de stéréo dense avec la 3D-GS pour construire des Gaussiennes 3D de scènes à grande échelle à partir d'images à vues éparses et sans pose en moins d'une minute. Plus précisément, InstantSplat comprend un module d'Initialisation Géométrique Grossière (CGI) qui établit rapidement une structure de scène préliminaire et des paramètres de caméra pour toutes les vues d'entraînement, en utilisant des cartes de points 3D alignées globalement dérivées d'un pipeline de stéréo dense pré-entraîné. Ceci est suivi par le module d'Optimisation Rapide de Gaussiennes 3D (F-3DGO), qui optimise conjointement les attributs des Gaussiennes 3D et les poses initialisées avec une régularisation de pose. Les expériences menées sur les ensembles de données extérieurs à grande échelle Tanks & Temples démontrent qu'InstantSplat améliore significativement le SSIM (de 32%) tout en réduisant simultanément l'Erreur Absolue de Trajectoire (ATE) de 80%. Ces résultats établissent InstantSplat comme une solution viable pour les scénarios impliquant des conditions sans pose et à vues éparses. Page du projet : instantsplat.github.io.

English

While novel view synthesis (NVS) has made substantial progress in 3D computer vision, it typically requires an initial estimation of camera intrinsics and extrinsics from dense viewpoints. This pre-processing is usually conducted via a Structure-from-Motion (SfM) pipeline, a procedure that can be slow and unreliable, particularly in sparse-view scenarios with insufficient matched features for accurate reconstruction. In this work, we integrate the strengths of point-based representations (e.g., 3D Gaussian Splatting, 3D-GS) with end-to-end dense stereo models (DUSt3R) to tackle the complex yet unresolved issues in NVS under unconstrained settings, which encompasses pose-free and sparse view challenges. Our framework, InstantSplat, unifies dense stereo priors with 3D-GS to build 3D Gaussians of large-scale scenes from sparseview & pose-free images in less than 1 minute. Specifically, InstantSplat comprises a Coarse Geometric Initialization (CGI) module that swiftly establishes a preliminary scene structure and camera parameters across all training views, utilizing globally-aligned 3D point maps derived from a pre-trained dense stereo pipeline. This is followed by the Fast 3D-Gaussian Optimization (F-3DGO) module, which jointly optimizes the 3D Gaussian attributes and the initialized poses with pose regularization. Experiments conducted on the large-scale outdoor Tanks & Temples datasets demonstrate that InstantSplat significantly improves SSIM (by 32%) while concurrently reducing Absolute Trajectory Error (ATE) by 80%. These establish InstantSplat as a viable solution for scenarios involving posefree and sparse-view conditions. Project page: instantsplat.github.io.