RaysUp: 기하학 인식 광선 표현을 통한 초경량 범용 특징 업샘플링

초록

사전 훈련된 비전 기반 모델(VFM)은 강력한 의미 표현과 뛰어난 일반화 능력으로 인해 현대 컴퓨터 비전의 핵심이 되었다. 그러나 패치화되거나 풀링된 출력은 본질적으로 저해상도이므로, 세밀한 픽셀 수준 추론이 필요한 작업에서 효과가 제한적이다. 기존의 특징 업샘플링 접근법은 의미 정확도를 저하시키거나 VFM별 재훈련과 무거운 아키텍처에 의존하여 효율성과 확장성을 저해한다. 이러한 문제를 해결하기 위해, 우리는 RaysUp을 제안한다. 이는 초경량, 작업 비의존적, VFM 비의존적 특징 업샘플링 프레임워크로, 임의 해상도에서 고해상도 특징 맵을 재구성한다. 기존의 2D 보간법이나 어텐션 기반 방식과 달리, RaysUp은 특징 재구성을 기하학 인식 광선(ray) 영역으로 끌어올린다. 구체적으로, 방향 인식 안내 인코딩을 위한 공간 분리형 안내 인코더, 해상도에 유연한 재구성을 위한 임의 해상도 교차 어텐션, 그리고 6D 플뤼커(Plücker) 광선 좌표를 통해 암시적 3D 기하 사전 정보를 주입하는 새로운 광선 위치 인코딩(RayPE)을 도입한다. 마지막으로, 기하학 인식 이웃 어텐션 모듈이 기하학적 일관성을 유지하면서 내용 적응형 양방향 집계를 보장한다. 다양한 밀집 예측 작업에 걸친 광범위한 실험 결과, RaysUp은 AnyUp 대비 16%의 파라미터만을 사용하면서도 최첨단 성능을 달성하고 약 7배 빠른 추론 속도를 제공한다. 이러한 결과는 정확도-효율성 트레이드오프의 실질적인 개선을 강조하며, RaysUp을 범용 특징 업샘플링을 위한 실용적이고 확장 가능한 솔루션으로 자리매김한다. 코드는 https://github.com/MAP-RaysUp/RaysUp에서 확인할 수 있다.

English

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.