Régularisation de la netteté adaptative en fréquence pour améliorer la généralisation du rendu par splats de Gaussiennes 3D
Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization
November 22, 2025
papers.authors: Youngsik Yun, Dongjun Gu, Youngjung Uh
cs.AI
papers.abstract
Bien que la technique de projection par splatting de Gaussiennes 3D (3DGS) excelle dans la plupart des configurations, elle manque de généralisation pour les points de vue nouveaux dans un scénario à faible nombre d'exemples, car elle surapprend les observations éparses. Nous revisitons l'optimisation de la 3DGS sous l'angle de l'apprentissage automatique, en formulant la synthèse de nouvelles vues comme un problème de généralisation à des points de vue non vus – une direction peu explorée. Nous proposons la Régularisation de Netteté Adaptative en Fréquence (FASR), qui reformule la fonction de coût de l'entraînement de la 3DGS, guidant ainsi celle-ci à converger vers une solution de meilleure généralisation. Bien que la Minimisation Sensible à la Netteté (SAM) réduise également la netteté du paysage de la fonction de perte pour améliorer la généralisation des modèles de classification, son utilisation directe pour la 3DGS est sous-optimale en raison de l'écart entre les tâches. Concrètement, elle entrave la reconstruction des détails haute fréquence à cause d'une régularisation excessive, tandis que réduire son intensité mène à une pénalisation insuffisante de la netteté. Pour résoudre ceci, nous reflétons la fréquence locale des images pour définir le poids de régularisation et le rayon du voisinage lors de l'estimation de la netteté locale. Cela empêche les artéfacts flottants dans les nouveaux points de vue et reconstruit les détails fins que SAM a tendance à trop lisser. Sur des jeux de données aux configurations variées, notre méthode améliore constamment un large éventail de lignes de base. Le code sera disponible à l'adresse https://bbangsik13.github.io/FASR.
English
Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.