AnyUp: 범용 특징 업샘플링

초록

우리는 인코더별 특수 훈련 없이도 모든 해상도의 비전 특징에 적용 가능한 특징 업샘플링 방법인 AnyUp을 소개한다. DINO나 CLIP과 같은 특징을 위한 기존의 학습 기반 업샘플러들은 각 특징 추출기마다 재훈련이 필요하며, 이로 인해 추론 시 다양한 특징 유형으로 일반화되지 못한다. 본 연구에서는 이러한 한계를 완화하고 업샘플링 품질을 개선하기 위해 추론 시 특징에 구애받지 않는 업샘플링 아키텍처를 제안한다. 실험 결과, AnyUp은 업샘플링된 특징에 대해 새로운 최첨단 기술을 제시하며, 다양한 특징 유형으로 일반화되고, 특징 의미를 보존하면서도 효율적이고 광범위한 다운스트림 작업에 쉽게 적용할 수 있음을 보여준다.

English

We introduce AnyUp, a method for feature upsampling that can be applied to any vision feature at any resolution, without encoder-specific training. Existing learning-based upsamplers for features like DINO or CLIP need to be re-trained for every feature extractor and thus do not generalize to different feature types at inference time. In this work, we propose an inference-time feature-agnostic upsampling architecture to alleviate this limitation and improve upsampling quality. In our experiments, AnyUp sets a new state of the art for upsampled features, generalizes to different feature types, and preserves feature semantics while being efficient and easy to apply to a wide range of downstream tasks.

AnyUp: 범용 특징 업샘플링

AnyUp: Universal Feature Upsampling

초록

Support