COLMAP不要の3Dガウシアンスプラッティング

要旨

ニューラルレンダリングはシーン再構成や新視点合成において目覚ましい進歩をもたらしましたが、正確に事前計算されたカメラポーズに大きく依存しています。この制約を緩和するため、事前処理されたカメラポーズなしでNeural Radiance Fields（NeRF）を学習するための複数の試みがなされてきました。しかし、NeRFの暗黙的な表現は、3D構造とカメラポーズを同時に最適化する際に追加の課題を提供します。一方、最近提案された3D Gaussian Splattingは、その明示的な点群表現により新たな可能性を提供します。本論文では、明示的な幾何表現と入力ビデオストリームの連続性の両方を活用し、SfM前処理なしで新視点合成を実行します。入力フレームを逐次的に処理し、一度に1つの入力フレームを取り込むことで3Dガウシアン集合を段階的に成長させ、カメラポーズを事前計算する必要はありません。私たちの手法は、大きなモーション変化下での視点合成とカメラポーズ推定において、従来のアプローチを大幅に改善します。プロジェクトページはhttps://oasisyang.github.io/colmap-free-3dgsです。

English

While neural rendering has led to impressive advances in scene reconstruction and novel view synthesis, it relies heavily on accurately pre-computed camera poses. To relax this constraint, multiple efforts have been made to train Neural Radiance Fields (NeRFs) without pre-processed camera poses. However, the implicit representations of NeRFs provide extra challenges to optimize the 3D structure and camera poses at the same time. On the other hand, the recently proposed 3D Gaussian Splatting provides new opportunities given its explicit point cloud representations. This paper leverages both the explicit geometric representation and the continuity of the input video stream to perform novel view synthesis without any SfM preprocessing. We process the input frames in a sequential manner and progressively grow the 3D Gaussians set by taking one input frame at a time, without the need to pre-compute the camera poses. Our method significantly improves over previous approaches in view synthesis and camera pose estimation under large motion changes. Our project page is https://oasisyang.github.io/colmap-free-3dgs

COLMAP不要の3Dガウシアンスプラッティング

COLMAP-Free 3D Gaussian Splatting

要旨

Support