Splatting 3D Gaussiano senza COLMAP

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Autori: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Abstract

Mentre il rendering neurale ha portato a impressionanti progressi nella ricostruzione di scene e nella sintesi di nuove visualizzazioni, esso si basa fortemente su pose della camera pre-calcolate con precisione. Per ridurre questo vincolo, sono stati compiuti diversi sforzi per addestrare i Campi di Radianza Neurale (NeRF) senza pose della camera pre-elaborate. Tuttavia, le rappresentazioni implicite dei NeRF presentano ulteriori sfide per ottimizzare contemporaneamente la struttura 3D e le pose della camera. D'altra parte, il recentemente proposto 3D Gaussian Splatting offre nuove opportunità grazie alle sue rappresentazioni esplicite di nuvole di punti. Questo articolo sfrutta sia la rappresentazione geometrica esplicita che la continuità del flusso video in ingresso per eseguire la sintesi di nuove visualizzazioni senza alcuna pre-elaborazione SfM. Elaboriamo i fotogrammi in ingresso in modo sequenziale e incrementiamo progressivamente l'insieme delle Gaussiane 3D prendendo un fotogramma in ingresso alla volta, senza la necessità di pre-calcolare le pose della camera. Il nostro metodo migliora significativamente rispetto agli approcci precedenti nella sintesi di visualizzazioni e nella stima delle pose della camera in presenza di ampi cambiamenti di movimento. La pagina del nostro progetto è https://oasisyang.github.io/colmap-free-3dgs.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs