업샘플 애니씽: 특징 업샘플링을 위한 단순하면서도 뛰어난 성능의 베이스라인

Upsample Anything: A Simple and Hard to Beat Baseline for Feature Upsampling

November 20, 2025

저자: Minseok Seo, Mark Hamilton, Changick Kim

cs.AI

초록

본 논문에서는 저해상도 특징을 훈련 없이도 고해상도의 픽셀 단위 출력으로 복원하는 경량화된 테스트 타임 최적화(TTO) 프레임워크인 Upsample Anything을 제안한다. 비전 파운데이션 모델은 다양한 다운스트림 작업에서 강력한 일반화 능력을 보여주지만, ViT와 같이 14x/16x로 특징맵이 다운샘플링되는 경우가 많아 픽셀 수준 응용에 직접 사용하기에는 한계가 있다. 기존 특징 업샘플링 방법은 데이터셋 특화 재훈련이나 무거운 암묵적 최적화에 의존하여 확장성과 일반화가 제한된다. Upsample Anything은 공간 및 범위 정보를 결합한 이방성 가우시안 커널을 학습하는 단순한 단일 이미지 최적화를 통해 이러한 문제를 해결하며, 가우시안 스플래팅과 Joint Bilateral Upsampling을 효과적으로 연결한다. 학습된 커널은 아키텍처와 모달리티를 가로지르는 보편적인 에지 인식 연산자로 작동하여 특징, 깊이, 확률 맵의 정밀한 고해상도 복원을 가능하게 한다. 이 방법은 224x224 이미지당 약 0.419초만에 수행되며, 의미 분할, 깊이 추정, 깊이/확률 맵 업샘플링에서 최첨단 성능을 달성한다. 프로젝트 페이지: https://seominseok0429.github.io/Upsample-Anything/

English

We present Upsample Anything, a lightweight test-time optimization (TTO) framework that restores low-resolution features to high-resolution, pixel-wise outputs without any training. Although Vision Foundation Models demonstrate strong generalization across diverse downstream tasks, their representations are typically downsampled by 14x/16x (e.g., ViT), which limits their direct use in pixel-level applications. Existing feature upsampling approaches depend on dataset-specific retraining or heavy implicit optimization, restricting scalability and generalization. Upsample Anything addresses these issues through a simple per-image optimization that learns an anisotropic Gaussian kernel combining spatial and range cues, effectively bridging Gaussian Splatting and Joint Bilateral Upsampling. The learned kernel acts as a universal, edge-aware operator that transfers seamlessly across architectures and modalities, enabling precise high-resolution reconstruction of features, depth, or probability maps. It runs in only approx0.419 s per 224x224 image and achieves state-of-the-art performance on semantic segmentation, depth estimation, and both depth and probability map upsampling. Project page: https://seominseok0429.github.io/Upsample-Anything/{https://seominseok0429.github.io/Upsample-Anything/}