Generative Verdichtung: Lernen, Gaussverteilungen für hochwertige und generalisierbare 3D-Rekonstruktion zu verdichten.

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

Autoren: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

Zusammenfassung

Generalisierte Feedforward-Gauß-Modelle haben durch die Nutzung von Vorwissen aus großen Multi-View-Datensätzen signifikante Fortschritte bei der dünnbesetzten 3D-Rekonstruktion erzielt. Diese Modelle haben jedoch oft Schwierigkeiten, hochfrequente Details aufgrund der begrenzten Anzahl von Gaußschen Funktionen darzustellen. Während die Verdichtungsstrategie, die bei der per-Szene 3D-Gauß-Splatting (3D-GS) Optimierung verwendet wird, auf die Feedforward-Modelle übertragen werden kann, ist sie möglicherweise nicht optimal für generalisierte Szenarien geeignet. In diesem Artikel schlagen wir Generative Verdichtung vor, eine effiziente und verallgemeinerbare Methode zur Verdichtung von Gaußschen Funktionen, die von Feedforward-Modellen generiert werden. Im Gegensatz zur 3D-GS-Verdichtungsstrategie, bei der die rohen Gauß-Parameter iterativ aufgeteilt und geklont werden, verfeinert unsere Methode die Merkmalsdarstellungen der Feedforward-Modelle und generiert ihre entsprechenden feinen Gaußschen Funktionen in einem einzigen Vorwärtsschritt, wobei das eingebettete Vorwissen zur verbesserten Verallgemeinerung genutzt wird. Experimentelle Ergebnisse bei Objekt- und Szenenrekonstruktionsaufgaben zeigen, dass unsere Methode im Vergleich zu modernsten Ansätzen mit vergleichbaren oder kleineren Modellgrößen eine bemerkenswerte Leistungssteigerung bei der Darstellung feiner Details erzielt.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.