SurGe: Verbeterde oppervlaktegeometrie in puntenkaarten

Samenvatting

Recente feedforward 3D-reconstructiemethoden voorspellen puntenkaarten en schatten de globale 3D-geometrie opmerkelijk goed. Hun voorspellingen vertonen echter nog steeds onnauwkeurige lokale oppervlaktegeometrie, wat kwalitatief duidelijk zichtbaar is, maar slechts zwak wordt weerspiegeld in gangbare metrieken. Om deze fouten explicieter te maken in de evaluatie, introduceren we een puntenkaart-normaalmetriek die de lokale oppervlakteoriëntatie evalueert, zoals geïnduceerd door naburige 3D-voorspellingen. Om deze fouten te verminderen, stellen we twee complementaire componenten voor: een puntgradiënt-matchingverlies dat toezicht houdt op dieptegenormaliseerde 3D-eindige verschillen, en een Buurt-Aandacht-Decoder (Neighborhood Attention Decoder, NAD) die progressief kenmerken opschaalt en Buurt-Aandacht gebruikt voor lokale kenmerkmenging. Over acht zero-shot monoculaire geometriebenchmarks heen behaalt ons model, SurGe, de beste gemiddelde rangschikking voor globale puntenkaart-AbsRel en verbetert het consequent de lokale puntenkaart- en puntenkaart-normaalevaluaties.

English

Recent feedforward 3D reconstruction methods predict point maps and estimate global 3D geometry remarkably well. However, their predictions still exhibit inaccurate local surface geometry, which is clearly visible qualitatively but only weakly reflected in common metrics. To make these errors more explicit in evaluation, we introduce a point map normal metric that evaluates the local surface orientation induced by neighboring 3D predictions. To reduce these errors, we propose two complementary components: a point gradient matching loss that supervises depth-normalized 3D finite differences, and a Neighborhood Attention Decoder (NAD) that progressively upsamples features and uses Neighborhood Attention for local feature mixing. Across eight zero-shot monocular geometry benchmarks, our model, SurGe, achieves the best average rank for global point map AbsRel and consistently improves local point map and point map normal evaluations.