Regolarizzazione della Nitidezza Adattiva in Frequenza per Migliorare la Generalizzazione del 3D Gaussian Splatting
Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization
November 22, 2025
Autori: Youngsik Yun, Dongjun Gu, Youngjung Uh
cs.AI
Abstract
Nonostante lo Splatting Gaussiano 3D (3DGS) eccelli nella maggior parte delle configurazioni, manca di generalizzazione su punti di vista inediti in scenari few-shot a causa di un overfit sulle osservazioni sparse. Riconsideriamo l'ottimizzazione del 3DGS da una prospettiva di apprendimento automatico, inquadrando la sintesi di nuove viste come un problema di generalizzazione verso punti di vista non visti, una direzione poco esplorata. Proponiamo la Regolarizzazione dell'Acutezza Adattativa in Frequenza (FASR), che riformula la funzione obiettivo dell'addestramento 3DGS, guidandolo così a convergere verso una soluzione con migliore generalizzazione. Sebbene la Minimizzazione Consapevole dell'Acutezza (SAM) riduca analogamente l'acutezza del paesaggio di loss per migliorare la generalizzazione dei modelli di classificazione, il suo impiego diretto nel 3DGS è subottimale a causa della discrepanza tra i compiti. Nello specifico, esso ostacola la ricostruzione di dettagli ad alta frequenza a causa di un'eccessiva regolarizzazione, mentre ridurne l'intensità porta a una penalizzazione insufficiente dell'acutezza. Per affrontare ciò, riflettiamo la frequenza locale delle immagini per impostare il peso della regolarizzazione e il raggio dell'intorno quando si stima l'acutezza locale. Ciò previene artefatti a floater in nuovi punti di vista e ricostruisce dettagli fini che SAM tende a oversmoothare. Su dataset con varie configurazioni, il nostro metodo migliora costantemente un'ampia gamma di baseline. Il codice sarà disponibile su https://bbangsik13.github.io/FASR.
English
Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.