RaysUp: Ультралегкий универсальный апсемплинг признаков с помощью представления лучей с учетом геометрии

Аннотация

Предварительно обученные фундаментальные модели компьютерного зрения (VFMs) стали основой современного компьютерного зрения благодаря своим мощным семантическим представлениям и высокой способности к обобщению. Однако их выходные данные, получаемые через патрификацию или пулинг, по своей сути имеют низкое разрешение, что ограничивает их эффективность в задачах, требующих детального попиксельного анализа. Существующие методы повышения разрешения признаков либо снижают семантическую точность, либо требуют переобучения под конкретную VFM и использования тяжеловесных архитектур, что препятствует эффективности и масштабируемости. Для решения этих проблем мы предлагаем RaysUp — сверхлегкий, не зависящий ни от задачи, ни от конкретной VFM фреймворк для повышения разрешения признаков, который восстанавливает карты признаков высокого разрешения при произвольных выходных разрешениях. В отличие от традиционных подходов, основанных на двумерной интерполяции или механизмах внимания, RaysUp переносит восстановление признаков в геометрически осмысленную область лучей. В частности, мы вводим пространственно-разделенный направляющий кодировщик для кодирования направляющей информации с учетом направления, механизм крос-внимания произвольного разрешения для гибкого восстановления на любых разрешениях и новое лучевое позиционное кодирование (RayPE), которое встраивает неявные трехмерные геометрические априорные знания посредством 6-мерных лучевых координат Плюккера. Наконец, модуль геометрически-осведомленного внимания к окрестности обеспечивает контентно-адаптивную билатеральную агрегацию при сохранении геометрической согласованности. Обширные эксперименты на различных задачах плотного предсказания демонстрируют, что RaysUp достигает производительности на уровне передовых методов, используя при этом всего 16% параметров AnyUp и обеспечивая примерно в 7 раз более быстрый инференс. Эти результаты подчеркивают существенно улучшенный компромисс между точностью и эффективностью и позиционируют RaysUp как практичное и масштабируемое решение для универсального повышения разрешения признаков. Код доступен по адресу https://github.com/MAP-RaysUp/RaysUp.

English

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.