RaysUp: Ultraleichtes universelles Feature-Upsampling durch geometriebewusste Strahlendarstellung

Zusammenfassung

Vortrainierte visuelle Grundlagenmodelle (Vision Foundation Models, VFMs) sind aufgrund ihrer leistungsstarken semantischen Repräsentationen und starken Generalisierungsfähigkeit zu zentralen Elementen der modernen Computer Vision geworden. Allerdings sind ihre patchifizierten oder gepoolten Ausgaben von Natur aus niedrig aufgelöst, was ihre Wirksamkeit bei Aufgaben einschränkt, die eine feinkörnige, pixelgenaue Reasoning erfordern. Bestehende Ansätze zum Feature-Upsampling beeinträchtigen entweder die semantische Treue oder erfordern VFM-spezifisches Nachtraining und schwere Architekturen, was Effizienz und Skalierbarkeit behindert. Um diese Herausforderungen zu bewältigen, schlagen wir RaysUp vor, ein extrem leichtgewichtiges, aufgabenagnostisches und VFM-agnostisches Feature-Upsampling-Framework, das hochauflösende Feature-Maps bei beliebigen Auflösungen rekonstruiert. Im Gegensatz zu herkömmlicher 2D-Interpolation oder auf Aufmerksamkeit basierenden Schemata hebt RaysUp die Feature-Rekonstruktion in eine geometriebewusste Strahlen-Domäne. Insbesondere führen wir einen räumlich entkoppelten Lenkungs-Encoder (Spatially Decoupled Guidance Encoder) für richtungsbewusste Lenkungscodierung, einen Any-Resolution Cross-Attention-Mechanismus für auflösungsflexible Rekonstruktion und eine neuartige Strahlen-Positionscodierung (Ray Positional Encoding, RayPE) ein, die implizite 3D-geometrische Priors über 6D-Plücker-Strahlkoordinaten injiziert. Schließlich sorgt ein geometriebewusstes Nachbarschaftsaufmerksamkeitsmodul (Geometry-Aware Neighborhood Attention) für eine inhaltsadaptive bilaterale Aggregation unter Wahrung der geometrischen Konsistenz. Umfangreiche Experimente über verschiedene dichte Vorhersageaufgaben hinweg zeigen, dass RaysUp eine Spitzenleistung erzielt, dabei nur 16 % der Parameter von AnyUp verwendet und eine etwa 7-fach schnellere Inferenz liefert. Diese Ergebnisse heben einen wesentlich verbesserten Genauigkeits-Effizienz-Kompromiss hervor und etablieren RaysUp als praktische und skalierbare Lösung für universelles Feature-Upsampling. Der Code ist verfügbar unter https://github.com/MAP-RaysUp/RaysUp.

English

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.