F4Splat: フィードフォワード3Dガウススプラッティングのためのフィードフォワード予測的密度化

要旨

フィードフォワード3Dガウシアンスプラッティング手法は、単一パスでの再構成とリアルタイムレンダリングを可能にする。しかしながら、これらの手法は一般に、画素からガウシアン、あるいはボクセルからガウシアンへの固定的なパイプラインを採用し、ガウシアンを均一に割り当てるため、視点間で冗長なガウシアンが生じる。さらに、再構成の忠実度を維持しつつガウシアンの総数を制御する効果的な機構を欠いている。これらの課題を解決するため、本論文ではF4Splatを提案する。本手法はフィードフォワード3Dガウシアンスプラッティングのためのフィードフォワード予測的密度化を実行し、空間的複雑度と多視点重複度に応じてガウシアンを適応的に分配する、密度化スコア誘導型の割り当て戦略を導入する。我々のモデルは、必要なガウシアン密度を推定する領域毎の密度化スコアを予測し、再学習なしで最終的なガウシアン数の明示的な制御を可能とする。この空間適応型割り当てにより、単純な領域における冗長性が削減され、重複する視点間でのガウシアンの重複が最小化され、コンパクトかつ高品質な3D表現が生成される。大規模な実験により、本モデルが、従来の較正不要なフィードフォワード手法と比較して、極めて少ない数のガウシアンを使用しながら、優れた新視点合成性能を達成することを実証する。

English

Feed-forward 3D Gaussian Splatting methods enable single-pass reconstruction and real-time rendering. However, they typically adopt rigid pixel-to-Gaussian or voxel-to-Gaussian pipelines that uniformly allocate Gaussians, leading to redundant Gaussians across views. Moreover, they lack an effective mechanism to control the total number of Gaussians while maintaining reconstruction fidelity. To address these limitations, we present F4Splat, which performs Feed-Forward predictive densification for Feed-Forward 3D Gaussian Splatting, introducing a densification-score-guided allocation strategy that adaptively distributes Gaussians according to spatial complexity and multi-view overlap. Our model predicts per-region densification scores to estimate the required Gaussian density and allows explicit control over the final Gaussian budget without retraining. This spatially adaptive allocation reduces redundancy in simple regions and minimizes duplicate Gaussians across overlapping views, producing compact yet high-quality 3D representations. Extensive experiments demonstrate that our model achieves superior novel-view synthesis performance compared to prior uncalibrated feed-forward methods, while using significantly fewer Gaussians.

F4Splat: フィードフォワード3Dガウススプラッティングのためのフィードフォワード予測的密度化

F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting

要旨

Support