RaysUp: Upsampling universal ultraligero de características mediante representación de rayos consciente de la geometría

Resumen

Los Modelos de Visión Foundation (VFMs) preentrenados se han convertido en el núcleo de la visión artificial moderna debido a sus potentes representaciones semánticas y su sólida capacidad de generalización. Sin embargo, sus salidas parcheadas o agrupadas son inherentemente de baja resolución, lo que limita su eficacia en tareas que requieren un razonamiento detallado a nivel de píxel. Los enfoques existentes de muestreo ascendente de características degradan la fidelidad semántica o dependen de un reentrenamiento específico del VFM y de arquitecturas pesadas, lo que dificulta la eficiencia y la escalabilidad. Para abordar estos desafíos, proponemos RaysUp, un marco de muestreo ascendente de características ultra-ligero, independiente de la tarea y del VFM, que reconstruye mapas de características de alta resolución a resoluciones arbitrarias. A diferencia de los esquemas convencionales de interpolación 2D o basados en atención, RaysUp eleva la reconstrucción de características a un dominio de rayos con conocimiento geométrico. Específicamente, introducimos un Codificador de Guía Espacialmente Desacoplado para la codificación de guía consciente de la dirección, un mecanismo de Atención Cruzada de Cualquier Resolución para la reconstrucción flexible de resoluciones, y una novedosa Codificación Posicional de Rayos (RayPE) que inyecta priors geométricos 3D implícitos mediante coordenadas de rayos de Plücker en 6D. Finalmente, un módulo de Atención de Vecindad con Conocimiento Geométrico asegura una agregación bilateral adaptativa al contenido mientras preserva la consistencia geométrica. Experimentos exhaustivos en diversas tareas de predicción densa demuestran que RaysUp alcanza un rendimiento de última generación utilizando solo el 16% de los parámetros de AnyUp y proporcionando una inferencia aproximadamente 7 veces más rápida. Estos resultados resaltan una relación precisión-eficiencia sustancialmente mejorada y establecen a RaysUp como una solución práctica y escalable para el muestreo ascendente universal de características. El código está disponible en https://github.com/MAP-RaysUp/RaysUp.

English

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.