SurGe: 점 지도에서 개선된 표면 기하학

초록

최근 피드포워드 3D 재구성 방법은 포인트 맵을 예측하고 전역 3D 기하학을 놀랍도록 잘 추정한다. 그러나 이들의 예측은 여전히 부정확한 국소 표면 기하학을 보여주며, 이는 질적으로는 명확히 드러나지만 일반적인 지표에는 약하게 반영된다. 이러한 오류를 평가에서 더 명시적으로 드러내기 위해, 우리는 인접한 3D 예측으로부터 유도된 국소 표면 방향을 평가하는 포인트 맵 법선 메트릭을 도입한다. 이러한 오류를 줄이기 위해, 우리는 두 가지 상호 보완적인 구성 요소를 제안한다: 깊이 정규화된 3D 유한 차분을 감독하는 포인트 그래디언트 매칭 손실과, 점진적으로 특징을 업샘플링하고 국소 특징 혼합을 위해 이웃 주의(Neighborhood Attention)를 사용하는 이웃 주의 디코더(NAD)이다. 여덟 가지 제로샷 단안 기하학 벤치마크에서, 우리의 모델 SurGe는 전역 포인트 맵 AbsRel에 대해 최고 평균 순위를 달성하고, 국소 포인트 맵 및 포인트 맵 법선 평가를 일관되게 개선한다.

English

Recent feedforward 3D reconstruction methods predict point maps and estimate global 3D geometry remarkably well. However, their predictions still exhibit inaccurate local surface geometry, which is clearly visible qualitatively but only weakly reflected in common metrics. To make these errors more explicit in evaluation, we introduce a point map normal metric that evaluates the local surface orientation induced by neighboring 3D predictions. To reduce these errors, we propose two complementary components: a point gradient matching loss that supervises depth-normalized 3D finite differences, and a Neighborhood Attention Decoder (NAD) that progressively upsamples features and uses Neighborhood Attention for local feature mixing. Across eight zero-shot monocular geometry benchmarks, our model, SurGe, achieves the best average rank for global point map AbsRel and consistently improves local point map and point map normal evaluations.