SVGS: Aprimoramento do Espalhamento Gaussiano por meio de Primitivas com Cores Espacialmente Variáveis

Resumo

O Gaussian Splatting demonstra resultados impressionantes na reconstrução multi-visão baseada em representações Gaussianas explícitas. No entanto, os primitivos Gaussianos atuais possuem apenas uma única cor dependente da visão e uma opacidade para representar a aparência e a geometria da cena, resultando numa representação não compacta. Neste artigo, introduzimos um novo método denominado SVGS (Spatially Varying Gaussian Splatting) que utiliza cores e opacidade espacialmente variáveis num único primitivo Gaussiano para melhorar a sua capacidade de representação. Implementámos a interpolação bilinear, *kernels* móveis e pequenas redes neuronais como funções espacialmente variáveis. O SVGS emprega *surfels* Gaussianos 2D como primitivos, o que melhora significativamente a síntese de novas visões, mantendo uma reconstrução geométrica de alta qualidade. Esta abordagem é particularmente eficaz em aplicações práticas, uma vez que cenas que combinam texturas complexas com geometria relativamente simples ocorrem frequentemente em ambientes do mundo real. Resultados experimentais quantitativos e qualitativos demonstram que todas as três funções superam a linha de base, com os melhores *kernels* móveis a alcançar um desempenho superior na síntese de novas visões em múltiplos conjuntos de dados, destacando o forte potencial das funções espacialmente variáveis. Página do projeto: https://ruixu.me/html/SuperGaussians/index.html

English

Gaussian Splatting demonstrates impressive results in multi-view reconstruction based on Gaussian explicit representations. However, the current Gaussian primitives only have a single view-dependent color and an opacity to represent the appearance and geometry of the scene, resulting in a non-compact representation. In this paper, we introduce a new method called SVGS (Spatially Varying Gaussian Splatting) that utilizes spatially varying colors and opacity in a single Gaussian primitive to improve its representation ability. We have implemented bilinear interpolation, movable kernels, and tiny neural networks as spatially varying functions. SVGS employs 2D Gaussian surfels as primitives, which significantly enhances novel-view synthesis while maintaining high-quality geometric reconstruction. This approach is particularly effective in practical applications, as scenes combining complex textures with relatively simple geometry occur frequently in real-world environments. Quantitative and qualitative experimental results demonstrate that all three functions outperform the baseline, with the best movable kernels achieving superior novel view synthesis performance on multiple datasets, highlighting the strong potential of spatially varying functions. Project page: https://ruixu.me/html/SuperGaussians/index.html