Splatfacto-W: 制約のない写真コレクションに対するガウススプラッティングのNerfstudio実装

Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections

July 17, 2024

著者: Congrong Xu, Justin Kerr, Angjoo Kanazawa

cs.AI

要旨

制約のない実世界の画像コレクションからの新規視点合成は、光学的な変動や一時的な遮蔽物の存在により正確なシーン再構築が複雑化するため、依然として重要な課題であり続けています。従来の手法では、Neural Radiance Fields (NeRF) に各画像の外観特徴埋め込みを統合することでこれらの問題に対処してきました。3D Gaussian Splatting (3DGS) はより高速な学習とリアルタイムレンダリングを提供しますが、そのアーキテクチャが大きく異なるため、制約のない画像コレクションに適応させることは容易ではありません。本論文では、ラスタライゼーションプロセスにガウシアンごとのニューラルカラーフィーチャーと画像ごとの外観埋め込みを統合し、球面調和関数に基づく背景モデルを用いて変化する光学的な外観を表現し、背景をより良く描写するアプローチである Splatfacto-W を紹介します。我々の主な貢献は、潜在的な外観モデリング、効率的な一時的オブジェクト処理、そして精密な背景モデリングを含みます。Splatfacto-W は、実世界のシナリオにおいてシーン一貫性を向上させた高品質なリアルタイム新規視点合成を実現します。本手法は、3DGS と比較して平均 5.3 dB のピーク信号対雑音比 (PSNR) を向上させ、NeRF ベースの手法と比較して 150 倍の学習速度を達成し、3DGS と同様のレンダリング速度を実現します。追加のビデオ結果と Nerfstudio に統合されたコードは https://kevinxu02.github.io/splatfactow/ で利用可能です。

English

Novel view synthesis from unconstrained in-the-wild image collections remains a significant yet challenging task due to photometric variations and transient occluders that complicate accurate scene reconstruction. Previous methods have approached these issues by integrating per-image appearance features embeddings in Neural Radiance Fields (NeRFs). Although 3D Gaussian Splatting (3DGS) offers faster training and real-time rendering, adapting it for unconstrained image collections is non-trivial due to the substantially different architecture. In this paper, we introduce Splatfacto-W, an approach that integrates per-Gaussian neural color features and per-image appearance embeddings into the rasterization process, along with a spherical harmonics-based background model to represent varying photometric appearances and better depict backgrounds. Our key contributions include latent appearance modeling, efficient transient object handling, and precise background modeling. Splatfacto-W delivers high-quality, real-time novel view synthesis with improved scene consistency in in-the-wild scenarios. Our method improves the Peak Signal-to-Noise Ratio (PSNR) by an average of 5.3 dB compared to 3DGS, enhances training speed by 150 times compared to NeRF-based methods, and achieves a similar rendering speed to 3DGS. Additional video results and code integrated into Nerfstudio are available at https://kevinxu02.github.io/splatfactow/.