Frequenzadaptive Schärferegelung zur Verbesserung der Generalisierung von 3D-Gaußschem Splatting
Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization
November 22, 2025
papers.authors: Youngsik Yun, Dongjun Gu, Youngjung Uh
cs.AI
papers.abstract
Obwohl 3D Gaussian Splatting (3DGS) in den meisten Konfigurationen hervorragende Ergebnisse erzielt, fehlt es ihm an Generalisierungsfähigkeit über neuartige Blickwinkel in einem Few-Shot-Szenario, da es zu stark an die spärlichen Beobachtungen überangepasst wird. Wir betrachten die 3DGS-Optimierung aus einer Machine-Learning-Perspektive neu und formulieren die Synthese neuartiger Ansichten als ein Generalisierungsproblem für ungesehene Blickwinkel – eine bisher wenig erforschte Richtung. Wir schlagen Frequency-Adaptive Sharpness Regularization (FASR) vor, welches das 3DGS-Trainingsziel neu formuliert und dadurch 3DGS dazu anleitet, sich einer besseren Generalisierungslösung anzunähern.
Obwohl Sharpness-Aware Minimization (SAM) ebenfalls die Schärfe des Loss-Landscape reduziert, um die Generalisierung von Klassifikationsmodellen zu verbessern, ist dessen direkte Anwendung auf 3DGS suboptimal aufgrund der Diskrepanz zwischen den Aufgaben. Konkret verhindert es aufgrund übermäßiger Regularisierung die Rekonstruktion hochfrequenter Details, während eine Reduzierung seiner Stärke zu einer unzureichenden Bestrafung der Schärfe führt. Um dies zu adressieren, spiegeln wir die lokale Frequenz der Bilder wider, um das Regularisierungsgewicht und den Nachbarschaftsradius bei der Schätzung der lokalen Schärfe festzulegen. Dies verhindert Floater-Artefakte in neuen Blickwinkeln und rekonstruiert feine Details, die SAM tendenziell zu stark glättet.
Über Datensätze mit verschiedenen Konfigurationen hinweg verbessert unsere Methode konsequent eine breite Palette von Baselines. Der Code wird unter https://bbangsik13.github.io/FASR verfügbar sein.
English
Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.