COLMAP-Vrije 3D Gaussische Splatting

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Auteurs: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Samenvatting

Hoewel neurale rendering indrukwekkende vooruitgang heeft geboekt in scène-reconstructie en de synthese van nieuwe gezichtspunten, is het sterk afhankelijk van nauwkeurig vooraf berekende cameraposities. Om deze beperking te versoepelen, zijn er meerdere inspanningen geleverd om Neural Radiance Fields (NeRFs) te trainen zonder vooraf verwerkte cameraposities. De impliciete representaties van NeRFs bieden echter extra uitdagingen om zowel de 3D-structuur als de cameraposities tegelijkertijd te optimaliseren. Aan de andere kant biedt het recent voorgestelde 3D Gaussian Splatting nieuwe mogelijkheden vanwege zijn expliciete puntenwolkrepresentaties. Dit artikel maakt gebruik van zowel de expliciete geometrische representatie als de continuïteit van de invoervideostream om synthese van nieuwe gezichtspunten uit te voeren zonder enige SfM-preprocessing. We verwerken de invoerframes op een sequentiële manier en breiden de set van 3D Gaussians geleidelijk uit door één invoerframe per keer te nemen, zonder de noodzaak om de cameraposities vooraf te berekenen. Onze methode verbetert aanzienlijk ten opzichte van eerdere benaderingen in gezichtspuntsynthese en camerapositie-estimatie bij grote bewegingsveranderingen. Onze projectpagina is https://oasisyang.github.io/colmap-free-3dgs.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs