SurGe : géométrie de surface améliorée dans les cartes de points

Résumé

Les récentes méthodes de reconstruction 3D feedforward prédisent des cartes de points et estiment remarquablement bien la géométrie 3D globale. Cependant, leurs prédictions présentent encore une géométrie locale de surface inexacte, clairement visible qualitativement mais faiblement reflétée dans les métriques courantes. Pour rendre ces erreurs plus explicites dans l'évaluation, nous introduisons une métrique de normales de cartes de points qui évalue l'orientation locale de la surface induite par les prédictions 3D voisines. Pour réduire ces erreurs, nous proposons deux composants complémentaires : une perte d'appariement de gradients de points qui supervise les différences finies 3D normalisées en profondeur, et un décodeur à attention de voisinage (NAD) qui suréchantillonne progressivement les caractéristiques et utilise l'attention de voisinage pour le mélange local des caractéristiques. Sur huit benchmarks de géométrie monoculaire zero-shot, notre modèle, SurGe, atteint le meilleur rang moyen pour l'AbsRel global de la carte de points et améliore constamment les évaluations locales de la carte de points et des normales de la carte de points.

English

Recent feedforward 3D reconstruction methods predict point maps and estimate global 3D geometry remarkably well. However, their predictions still exhibit inaccurate local surface geometry, which is clearly visible qualitatively but only weakly reflected in common metrics. To make these errors more explicit in evaluation, we introduce a point map normal metric that evaluates the local surface orientation induced by neighboring 3D predictions. To reduce these errors, we propose two complementary components: a point gradient matching loss that supervises depth-normalized 3D finite differences, and a Neighborhood Attention Decoder (NAD) that progressively upsamples features and uses Neighborhood Attention for local feature mixing. Across eight zero-shot monocular geometry benchmarks, our model, SurGe, achieves the best average rank for global point map AbsRel and consistently improves local point map and point map normal evaluations.