Splatting Gaussien 3D sans COLMAP

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Auteurs: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Résumé

Alors que le rendu neuronal a permis des avancées impressionnantes dans la reconstruction de scènes et la synthèse de nouvelles vues, il repose fortement sur des poses de caméra pré-calculées avec précision. Pour assouplir cette contrainte, plusieurs efforts ont été déployés pour entraîner des Champs de Radiance Neuronaux (NeRFs) sans poses de caméra prétraitées. Cependant, les représentations implicites des NeRFs posent des défis supplémentaires pour optimiser simultanément la structure 3D et les poses de caméra. D'autre part, la récente proposition de la méthode de projection par splats de Gaussiennes 3D offre de nouvelles opportunités grâce à ses représentations explicites sous forme de nuages de points. Cet article exploite à la fois la représentation géométrique explicite et la continuité du flux vidéo d'entrée pour effectuer la synthèse de nouvelles vues sans aucun prétraitement par Structure from Motion (SfM). Nous traitons les images d'entrée de manière séquentielle et développons progressivement l'ensemble des Gaussiennes 3D en prenant une image d'entrée à la fois, sans avoir besoin de pré-calculer les poses de caméra. Notre méthode améliore significativement les approches précédentes en matière de synthèse de vues et d'estimation des poses de caméra en cas de grands changements de mouvement. Notre page de projet est disponible à l'adresse suivante : https://oasisyang.github.io/colmap-free-3dgs

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs