Regularização de Nitidez Adaptativa em Frequência para Melhorar a Generalização em Representação por Pontos Gaussianos 3D

Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization

November 22, 2025

Autores: Youngsik Yun, Dongjun Gu, Youngjung Uh

cs.AI

Resumo

Apesar do 3D Gaussian Splatting (3DGS) se destacar na maioria das configurações, ele carece de generalização para novos pontos de vista em cenários de poucos exemplos devido ao seu sobreajuste às observações esparsas. Revisitamos a otimização do 3DGS a partir de uma perspectiva de aprendizado de máquina, enquadrando a síntese de novas vistas como um problema de generalização para pontos de vista não vistos – uma direção pouco explorada. Propomos a Regularização de Nitidez Adaptativa em Frequência (FASR), que reformula o objetivo de treinamento do 3DGS, guiando-o assim a convergir para uma solução de melhor generalização. Embora a Minimização Consciente da Nitidez (SAM) reduza de forma semelhante a nitidez da paisagem de perda para melhorar a generalização de modelos de classificação, sua aplicação direta ao 3DGS é subótima devido à discrepância entre as tarefas. Especificamente, ela prejudica a reconstrução de detalhes de alta frequência devido a uma regularização excessiva, enquanto a redução de sua intensidade resulta em uma penalização insuficiente da nitidez. Para resolver isso, refletimos a frequência local das imagens para definir o peso de regularização e o raio da vizinhança ao estimar a nitidez local. Isso evita artefatos flutuantes em novos pontos de vista e reconstrói detalhes finos que o SAM tende a suavizar excessivamente. Em conjuntos de dados com várias configurações, nosso método melhora consistentemente uma ampla gama de linhas de base. O código estará disponível em https://bbangsik13.github.io/FASR.

English

Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.