3D 가우시안 스플래팅 일반화 성능 향상을 위한 주파수 적응형 선예도 정규화

Frequency-Adaptive Sharpness Regularization for Improving 3D Gaussian Splatting Generalization

November 22, 2025

저자: Youngsik Yun, Dongjun Gu, Youngjung Uh

cs.AI

초록

3D 가우시안 스플래팅(3DGS)은 대부분의 설정에서 뛰어난 성능을 보이지만, 희소한 관측 데이터에 과적합되기 때문에 소수 샷 시나리오에서 새로운 시점에 대한 일반화 능력이 부족합니다. 우리는 기계 학습의 관점에서 3DGS 최적화를 재조명하며, 새로운 시점 합성 문제를 미탐색 시점에 대한 일반화 문제로 재구성합니다. 우리는 3DGS 훈련 목적 함수를 재정의하여 3DGS가 더 나은 일반화 해법으로 수렴하도록 안내하는 주파수 적응型 선예도 정규화(FASR)를 제안합니다. 선예도 인식 최소화(SAM)도 분류 모델의 일반화 성능 향상을 위해 손실 경관의 날카로움을 줄이는 유사한 접근법이지만, 작업 간 차이로 인해 3DGS에 직접 적용하는 것은 최적이 아닙니다. 구체적으로, SAM은 과도한 정규화로 인해 고주파 세부 정보 재구성을 방해하는 반면, 정규화 강도를 낮추면 선예도에 대한 패널티가 충분히 이루어지지 않습니다. 이를 해결하기 위해 우리는 지역 선예도를 추정할 때 정규화 가중치와 이웃 반경을 설정하기 위해 이미지의 지역적 주파수 특성을 반영합니다. 이는 새로운 시점에서 플로터 아티팩트를 방지하고 SAM이 과도하게 평활화하는 경향이 있는 미세한 세부 정보를 재구성합니다. 다양한 설정의 데이터셋에서 우리의 방법은 광범위한 기준선 모델들의 성능을 지속적으로 향상시킵니다. 코드는 https://bbangsik13.github.io/FASR에서 공개될 예정입니다.

English

Despite 3D Gaussian Splatting (3DGS) excelling in most configurations, it lacks generalization across novel viewpoints in a few-shot scenario because it overfits to the sparse observations. We revisit 3DGS optimization from a machine learning perspective, framing novel view synthesis as a generalization problem to unseen viewpoints-an underexplored direction. We propose Frequency-Adaptive Sharpness Regularization (FASR), which reformulates the 3DGS training objective, thereby guiding 3DGS to converge toward a better generalization solution. Although Sharpness-Aware Minimization (SAM) similarly reduces the sharpness of the loss landscape to improve generalization of classification models, directly employing it to 3DGS is suboptimal due to the discrepancy between the tasks. Specifically, it hinders reconstructing high-frequency details due to excessive regularization, while reducing its strength leads to under-penalizing sharpness. To address this, we reflect the local frequency of images to set the regularization weight and the neighborhood radius when estimating the local sharpness. It prevents floater artifacts in novel viewpoints and reconstructs fine details that SAM tends to oversmooth. Across datasets with various configurations, our method consistently improves a wide range of baselines. Code will be available at https://bbangsik13.github.io/FASR.