Densificação Generativa: Aprendizado para Densificar Gaussianas para Reconstrução 3D de Alta Fidelidade e Generalizável.

Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

December 9, 2024

Autores: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park

cs.AI

Resumo

Os modelos Gaussianos avançados de alimentação direta generalizados têm alcançado progressos significativos na reconstrução 3D de visão esparsa ao aproveitar o conhecimento prévio de grandes conjuntos de dados multi-visão. No entanto, esses modelos frequentemente enfrentam dificuldades em representar detalhes de alta frequência devido ao número limitado de Gaussianas. Enquanto a estratégia de densificação usada na otimização de espalhamento Gaussiano 3D por cena (3D-GS) pode ser adaptada aos modelos de alimentação direta, ela pode não ser idealmente adequada para cenários generalizados. Neste artigo, propomos a Densificação Generativa, um método eficiente e generalizável para densificar Gaussianas geradas por modelos de alimentação direta. Ao contrário da estratégia de densificação 3D-GS, que divide e clona iterativamente parâmetros Gaussianos brutos, nosso método aumenta a resolução das representações de características dos modelos de alimentação direta e gera suas respectivas Gaussianas detalhadas em uma única passagem direta, aproveitando o conhecimento prévio incorporado para uma generalização aprimorada. Resultados experimentais em tarefas de reconstrução em nível de objeto e cena demonstram que nosso método supera abordagens de ponta com tamanhos de modelo comparáveis ou menores, alcançando melhorias notáveis na representação de detalhes finos.

English

Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.