Densificación Generativa: Aprendizaje para Densificar Gaussianas para Reconstrucción 3D de Alta Fidelidad Generalizable

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

Autores: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

Resumen

Los modelos gaussianos de avance de alimentación generalizados han logrado un progreso significativo en la reconstrucción 3D de vista escasa al aprovechar el conocimiento previo de grandes conjuntos de datos multivista. Sin embargo, estos modelos a menudo tienen dificultades para representar detalles de alta frecuencia debido al número limitado de gaussianas. Mientras que la estrategia de densificación utilizada en la optimización de salpicaduras gaussianas 3D por escena (3D-GS) puede adaptarse a los modelos de avance de alimentación, puede que no sea ideal para escenarios generalizados. En este documento, proponemos la Densificación Generativa, un método eficiente y generalizable para densificar las gaussianas generadas por modelos de avance de alimentación. A diferencia de la estrategia de densificación 3D-GS, que divide y clona de forma iterativa los parámetros gaussianos crudos, nuestro método aumenta la representación de características de los modelos de avance de alimentación y genera sus correspondientes gaussianas finas en un solo pase hacia adelante, aprovechando el conocimiento previo incrustado para una generalización mejorada. Los resultados experimentales en tareas de reconstrucción a nivel de objeto y escena demuestran que nuestro método supera a enfoques de vanguardia con tamaños de modelo comparables o más pequeños, logrando mejoras notables en la representación de detalles finos.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.