Densification générative : Apprentissage de la densification des gaussiennes pour une reconstruction 3D haute fidélité généralisable.

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

Auteurs: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

Résumé

Les modèles gaussiens à propagation avant généralisés ont réalisé des progrès significatifs dans la reconstruction 3D à faible visibilité en exploitant les connaissances antérieures de vastes ensembles de données multi-vues. Cependant, ces modèles ont souvent du mal à représenter les détails haute fréquence en raison du nombre limité de gaussiennes. Alors que la stratégie de densification utilisée dans l'optimisation de l'étalement gaussien 3D par scène (3D-GS) peut être adaptée aux modèles à propagation avant, elle peut ne pas être idéalement adaptée aux scénarios généralisés. Dans cet article, nous proposons la Densification Générative, une méthode efficace et généralisable pour densifier les gaussiennes générées par les modèles à propagation avant. Contrairement à la stratégie de densification 3D-GS, qui divise et clone de manière itérative les paramètres gaussiens bruts, notre méthode sur-échantillonne les représentations des caractéristiques des modèles à propagation avant et génère leurs gaussiennes fines correspondantes en une seule passe, exploitant les connaissances antérieures intégrées pour une généralisation améliorée. Les résultats expérimentaux sur les tâches de reconstruction au niveau de l'objet et de la scène montrent que notre méthode surpasse les approches de pointe avec des tailles de modèle comparables ou plus petites, réalisant des améliorations notables dans la représentation des détails fins.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.