RaysUp : Suréchantillonnage universel ultra-léger de caractéristiques via une représentation de rayons tenant compte de la géométrie

Résumé

Les modèles de fondation de vision pré-entraînés (VFMs) sont devenus centraux en vision par ordinateur moderne en raison de leurs représentations sémantiques puissantes et de leur forte capacité de généralisation. Cependant, leurs sorties sous forme de patchs ou regroupées sont intrinsèquement en basse résolution, ce qui limite leur efficacité dans les tâches nécessitant un raisonnement fin au niveau pixel. Les approches existantes de suréchantillonnage de caractéristiques soit dégradent la fidélité sémantique, soit reposent sur un réentraînement spécifique au VFM et des architectures lourdes, entravant ainsi l'efficacité et la scalabilité. Pour relever ces défis, nous proposons RaysUp, un cadre de suréchantillonnage de caractéristiques ultra-léger, agnostique à la tâche et agnostique au VFM, qui reconstruit des cartes de caractéristiques haute résolution à des résolutions arbitraires. Contrairement aux schémas conventionnels d'interpolation 2D ou basés sur l'attention, RaysUp élève la reconstruction de caractéristiques dans un domaine de rayons conscient de la géométrie. Plus précisément, nous introduisons un Encodeur de Guidage Spatialement Découplé pour un encodage de guidage sensible à la direction, un mécanisme d'Attention Croisée à Résolution Quelconque pour une reconstruction flexible en résolution, et un nouvel Encodage Positionnel de Rayon (RayPE) qui injecte des a priori géométriques 3D implicites via des coordonnées de rayon de Plücker en 6D. Enfin, un module d'Attention de Voisinage Consciente de la Géométrie assure une agrégation bilatérale adaptative au contenu tout en préservant la cohérence géométrique. Des expériences approfondies sur diverses tâches de prédiction dense montrent que RaysUp atteint des performances de pointe tout en utilisant seulement 16 % des paramètres d'AnyUp et en offrant une inférence environ 7 fois plus rapide. Ces résultats mettent en évidence un compromis précision-efficacité considérablement amélioré et établissent RaysUp comme une solution pratique et scalable pour le suréchantillonnage universel de caractéristiques. Le code est disponible à l'adresse https://github.com/MAP-RaysUp/RaysUp.

English

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.