3Dガウススプラッティングの一般化性能向上のための周波数適応シャープネス正則化

Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization

November 22, 2025

著者: Youngsik Yun, Dongjun Gu, Youngjung Uh

cs.AI

要旨

3Dガウススプラッティング（3DGS）は多くの設定で優れた性能を発揮するものの、少数の観測データに過適合してしまうため、数ショットシナリオにおける新規視点への一般化が不十分である。本研究では、機械学習の観点から3DGSの最適化を再検討し、新規視点合成を未観測視点への一般化問題として捉える——これまで十分に探索されていない方向性である。我々は、3DGSの訓練目的を再定式化する周波数適応型シャープネス正則化（FASR）を提案し、3DGSがより優れた一般化解へ収束するよう導く。シャープネス認識最小化（SAM）も同様に損失ランドスケープのシャープネスを低減して分類モデルの一般化を改善するが、タスク間の差異から3DGSに直接適用するのは最適ではない。具体的には、過度な正則化によって高周波詳細の再構成が阻害され、正則化強度を弱めるとシャープネスの抑制が不十分となる。この問題に対処するため、局所的なシャープネス推定において、画像の局所周波数を反映して正則化重みと近傍半径を設定する。これにより、新規視点における浮遊物アーティファクトを防止し、SAMが過剰に平滑化しがちな微細な詳細を再構成する。様々な設定のデータセットにおいて、本手法は広範なベースラインを一貫して改善する。コードはhttps://bbangsik13.github.io/FASR で公開予定である。

English

Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.