Frequentie-adaptieve Scherpteregularisatie voor Verbeterde Generalisatie van 3D Gaussische Splatting
Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization
November 22, 2025
Auteurs: Youngsik Yun, Dongjun Gu, Youngjung Uh
cs.AI
Samenvatting
Hoewel 3D Gaussian Splatting (3DGS) in de meeste configuraties uitmunt, mist het generalisatievermogen over nieuwe gezichtspunten in een few-shot scenario omdat het overfit op de schaarse observaties. Wij benaderen de 3DGS-optimalisatie opnieuw vanuit een machine learning-perspectief en formuleren de synthese van nieuwe aanzichten als een generalisatieprobleem naar onbezochte gezichtspunten – een onderbelichte richting. Wij stellen Frequentie-Adaptieve Scherpteregularisatie (FASR) voor, die de 3DGS-trainingsdoelstelling herformuleert en daarbij 3DGS leidt naar een oplossing met beter generalisatievermogen.
Hoewel Sharpness-Aware Minimization (SAM) eveneens de scherpte van het verlieslandschap reduceert om de generalisatie van classificatiemodellen te verbeteren, is directe toepassing op 3DGS suboptimaal vanwege het verschil tussen de taken. Concreet belemmert het de reconstructie van hoogfrequente details door overmatige regularisatie, terwijl het verminderen van de sterkte leidt tot een onvoldoende bestraffing van de scherpte. Om dit aan te pakken, laten we de lokale frequentie van beelden terugkomen bij het instellen van het regularisatiegewicht en de nabijheidsstraal bij het schatten van de lokale scherpte. Dit voorkomt zwevende artefacten in nieuwe gezichtspunten en reconstrueert fijne details die SAM geneigd is te veel glad te strijken. Over datasets met uiteenlopende configuraties verbetert onze methode consequent een breed scala aan basislijnen. Code zal beschikbaar zijn op https://bbangsik13.github.io/FASR.
English
Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.