COLMAP-freies 3D-Gaußsches Splatting

COLMAP-Free 3D Gaussian Splatting

December 12, 2023

Autoren: Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

cs.AI

Zusammenfassung

Während das neuronale Rendering beeindruckende Fortschritte in der Szenenrekonstruktion und der Synthese neuer Ansichten ermöglicht hat, ist es stark auf präzise vorberechnete Kameraposen angewiesen. Um diese Einschränkung zu lockern, wurden mehrere Ansätze entwickelt, um Neural Radiance Fields (NeRFs) ohne vorverarbeitete Kameraposen zu trainieren. Allerdings stellen die impliziten Darstellungen von NeRFs zusätzliche Herausforderungen dar, um die 3D-Struktur und die Kameraposen gleichzeitig zu optimieren. Andererseits bietet das kürzlich vorgeschlagene 3D Gaussian Splatting neue Möglichkeiten aufgrund seiner expliziten Punktwolkendarstellungen. Diese Arbeit nutzt sowohl die explizite geometrische Darstellung als auch die Kontinuität des Eingabevideostreams, um die Synthese neuer Ansichten ohne jegliche SfM-Vorverarbeitung durchzuführen. Wir verarbeiten die Eingabebilder sequenziell und erweitern schrittweise die Menge der 3D-Gaussians, indem wir jeweils ein Eingabebild aufnehmen, ohne die Kameraposen vorberechnen zu müssen. Unsere Methode verbessert die Ansichtssynthese und die Kameraposenschätzung bei großen Bewegungsänderungen erheblich im Vergleich zu früheren Ansätzen. Unsere Projektseite ist https://oasisyang.github.io/colmap-free-3dgs.

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs