강건한 다중 시점 3차원 재구성을 위한 기하학 인식 표현 노이즈 제거

초록

다중 시점 3차원 재구성은 피드포워드 3차원 재구성 모델의 등장으로 놀라운 진전을 이루었습니다. 그러나 이러한 모델들은 일반적으로 이상적인, 열화 없는 영상 조건에서 훈련 및 평가되는 반면, 실제 세계 관측치는 이러한 설정과 현저히 다른 열화를 포함하는 경우가 많습니다. 따라서 열화된 조건에서 다중 시점 3차원 재구성의 강건성을 향상시키는 것은 여전히 중요한 과제로 남아 있습니다. 우리는 기하학 인식 표현 잡음 제거(Geometry-Aware Representation Denoising, GARD)라는 새로운 프레임워크를 제시합니다. 이는 피드포워드 3차원 재구성 모델의 특징 공간에서 직접 확산 기반 다중 시점 복원을 수행합니다. 이 설계는 3차원 재구성기의 기하학 인식 특징 표현을 활용하여 정확한 장면 기하를 효과적으로 복원합니다. 또한, 추가 RGB 영상 디코더를 사용함으로써 정제된 표현을 고품질 RGB 영상 복원에도 사용할 수 있어, 3차원 장면 기하와 고품질 영상을 동시에 복원할 수 있습니다. Depth Anything 3 (DA3) 벤치마크에 대한 포괄적인 실험을 통해 제안된 GARD 프레임워크의 효과를 입증합니다.

English

Multi-view 3D reconstruction has achieved remarkable progress with the advent of feed-forward 3D reconstruction models. However, these models are typically trained and evaluated under ideal, degradation-free imaging conditions, whereas real-world observations often contain degradations that differ significantly from such settings. Improving robustness for multi-view 3D reconstruction under degraded conditions therefore remains an important challenge. We present Geometry-Aware Representation Denoising (GARD), a novel framework that performs diffusion-based multi-view restoration directly in the feature space of a feed-forward 3D reconstruction model. This design exploits the geometry-aware feature representations of the 3D reconstructor to effectively recover accurate scene geometry. Furthermore, by employing an additional RGB image decoder, the refined representations can also be used to restore high-quality RGB images, thereby enabling the simultaneous recovery of 3D scene geometry and high-quality imagery. Comprehensive experiments on the Depth Anything 3 (DA3) benchmark demonstrate the effectiveness of the proposed GARD framework.