Regularización de Nitidez Adaptativa en Frecuencia para Mejorar la Generalización de la Representación con Gaussianos 3D
Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization
November 22, 2025
Autores: Youngsik Yun, Dongjun Gu, Youngjung Uh
cs.AI
Resumen
A pesar de que el *Splatting* Gaussiano 3D (3DGS) sobresale en la mayoría de configuraciones, carece de generalización a través de puntos de vista novedosos en un escenario de pocos ejemplos (*few-shot*) debido a que se sobreajusta (*overfitting*) a las observaciones dispersas. Revisamos la optimización del 3DGS desde una perspectiva de aprendizaje automático, enmarcando la síntesis de vistas novedosas como un problema de generalización a puntos de vista no vistos, una dirección poco explorada. Proponemos la Regularización de Nitidez Adaptativa en Frecuencia (FASR), la cual reformula la función objetivo del entrenamiento de 3DGS, guiando así al 3DGS a converger hacia una solución de mejor generalización. Aunque la Minimización Consciente de la Nitidez (SAM) reduce de manera similar la nitidez del paisaje de pérdida para mejorar la generalización de modelos de clasificación, emplearla directamente en 3DGS es subóptimo debido a la discrepancia entre las tareas. Específicamente, dificulta la reconstrucción de detalles de alta frecuencia debido a una regularización excesiva, mientras que reducir su intensidad conduce a una penalización insuficiente de la nitidez. Para abordar esto, reflejamos la frecuencia local de las imágenes para establecer el peso de regularización y el radio del vecindario al estimar la nitidez local. Esto evita artefactos flotantes en puntos de vista novedosos y reconstruye detalles finos que SAM tiende a suavizar en exceso. En diversos conjuntos de datos con varias configuraciones, nuestro método mejora consistentemente una amplia gama de líneas base. El código estará disponible en https://bbangsik13.github.io/FASR.
English
Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.