SurGe: Verbesserte Oberflächengeometrie in Punktkarten

Zusammenfassung

Jüngste Feedforward-3D-Rekonstruktionsmethoden sagen Punktkarten bemerkenswert gut voraus und schätzen globale 3D-Geometrien präzise. Dennoch weisen ihre Vorhersagen weiterhin ungenaue lokale Oberflächengeometrien auf, die qualitativ deutlich sichtbar sind, sich in gängigen Metriken jedoch nur schwach widerspiegeln. Um diese Fehler in der Evaluation expliziter zu machen, führen wir eine Punktkarten-Normalen-Metrik ein, die die durch benachbarte 3D-Vorhersagen induzierte lokale Oberflächenorientierung bewertet. Zur Reduzierung dieser Fehler schlagen wir zwei komplementäre Komponenten vor: einen Punktgradienten-Abgleichsverlust, der tiefennormalisierte 3D-finite-Differenzen überwacht, und einen Neighborhood Attention Decoder (NAD), der Merkmale progressiv hochsampelt und Neighborhood Attention zur lokalen Merkmalsmischung nutzt. Über acht Zero-Shot-monokulare Geometrie-Benchmarks hinweg erzielt unser Modell SurGe den besten durchschnittlichen Rang für die globale Punktkarten-AbsRel und verbessert konsequent die lokale Punktkarten- und Punktkarten-Normalen-Evaluation.

English

Recent feedforward 3D reconstruction methods predict point maps and estimate global 3D geometry remarkably well. However, their predictions still exhibit inaccurate local surface geometry, which is clearly visible qualitatively but only weakly reflected in common metrics. To make these errors more explicit in evaluation, we introduce a point map normal metric that evaluates the local surface orientation induced by neighboring 3D predictions. To reduce these errors, we propose two complementary components: a point gradient matching loss that supervises depth-normalized 3D finite differences, and a Neighborhood Attention Decoder (NAD) that progressively upsamples features and uses Neighborhood Attention for local feature mixing. Across eight zero-shot monocular geometry benchmarks, our model, SurGe, achieves the best average rank for global point map AbsRel and consistently improves local point map and point map normal evaluations.