Частотно-адаптивная регуляризация резкости для улучшения обобщающей способности 3D-гауссовского сплайнинга
Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization
November 22, 2025
Авторы: Youngsik Yun, Dongjun Gu, Youngjung Uh
cs.AI
Аннотация
Несмотря на то, что метод рассеяния 3D-гауссоидов (3DGS) превосходно работает в большинстве конфигураций, он не обладает способностью к обобщению для новых ракурсов в условиях сцен с малым числом снимков из-за переобучения на разреженных наблюдениях. Мы пересматриваем оптимизацию 3DGS с точки зрения машинного обучения, рассматривая синтез новых видов как проблему обобщения на непредставленные ракурсы — малоизученное направление. Мы предлагаем частотно-адаптивную регуляризацию остроты (FASR), которая переформулирует целевую функцию обучения 3DGS, направляя метод к сходимости в решение с лучшей обобщающей способностью. Хотя метод минимизации, учитывающий остроту (SAM), аналогичным образом снижает остроту ландшафта потерь для улучшения обобщения классификационных моделей, его прямое применение к 3DGS неоптимально из-за различия между задачами. В частности, он препятствует восстановлению высокочастотных деталей из-за чрезмерной регуляризации, тогда как снижение её силы приводит к недостаточному подавлению остроты. Для решения этой проблемы мы учитываем локальную частоту изображений для установки веса регуляризации и радиуса окрестности при оценке локальной остроты. Это предотвращает появление артефактов типа "плавающих частиц" на новых ракурсах и восстанавливает мелкие детали, которые SAM склонен чрезмерно сглаживать. На наборах данных с различными конфигурациями наш метод стабильно улучшает широкий спектр базовых методов. Код будет доступен по адресу https://bbangsik13.github.io/FASR.
English
Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.