Generatieve Verdichting: Leren om Gaussians te verdichten voor Hoogwaardige Generaliseerbare 3D-reconstructie

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

Auteurs: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

Samenvatting

Generaliseerde feedforward Gaussische modellen hebben aanzienlijke vooruitgang geboekt in schaars beeldvorming van 3D door gebruik te maken van voorkennis uit grote multi-view datasets. Deze modellen hebben echter vaak moeite om hoge frequentiedetails weer te geven vanwege het beperkte aantal Gaussiërs. Hoewel de verdichtingsstrategie die wordt gebruikt in per-scene 3D Gaussisch spatten (3D-GS) optimalisatie kan worden aangepast aan de feedforward modellen, is deze mogelijk niet ideaal geschikt voor gegeneraliseerde scenario's. In dit artikel stellen we Generatieve Verdichting voor, een efficiënte en generaliseerbare methode om Gaussiërs gegenereerd door feedforward modellen te verdichten. In tegenstelling tot de 3D-GS verdichtingsstrategie, waarbij raw Gaussische parameters iteratief worden gesplitst en gekloond, bemonstert onze methode feature representaties van de feedforward modellen en genereert hun overeenkomstige fijne Gaussiërs in één voorwaartse stap, waarbij gebruik wordt gemaakt van de ingebedde voorkennis voor verbeterde generalisatie. Experimentele resultaten op zowel objectniveau als scèneniveau reconstructietaken tonen aan dat onze methode beter presteert dan state-of-the-art benaderingen met vergelijkbare of kleinere modelgroottes, met opmerkelijke verbeteringen in het weergeven van fijne details.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.