AnyUp: Универсальное повышение детализации признаков

AnyUp: Universal Feature Upsampling

October 14, 2025

Авторы: Thomas Wimmer, Prune Truong, Marie-Julie Rakotosaona, Michael Oechsle, Federico Tombari, Bernt Schiele, Jan Eric Lenssen

cs.AI

Аннотация

Мы представляем AnyUp — метод апсемплинга признаков, который может быть применён к любым визуальным признакам на любом разрешении без необходимости специфического обучения для каждого энкодера. Существующие обучаемые методы апсемплинга для признаков, такие как DINO или CLIP, требуют повторного обучения для каждого экстрактора признаков и, следовательно, не обобщаются на различные типы признаков во время инференса. В данной работе мы предлагаем архитектуру апсемплинга, независимую от типа признаков и работающую на этапе инференса, чтобы устранить это ограничение и повысить качество апсемплинга. В наших экспериментах AnyUp устанавливает новый эталон для апсемплинга признаков, обобщается на различные типы признаков, сохраняет семантику признаков, оставаясь при этом эффективным и легко применимым для широкого спектра последующих задач.

English

We introduce AnyUp, a method for feature upsampling that can be applied to any vision feature at any resolution, without encoder-specific training. Existing learning-based upsamplers for features like DINO or CLIP need to be re-trained for every feature extractor and thus do not generalize to different feature types at inference time. In this work, we propose an inference-time feature-agnostic upsampling architecture to alleviate this limitation and improve upsampling quality. In our experiments, AnyUp sets a new state of the art for upsampled features, generalizes to different feature types, and preserves feature semantics while being efficient and easy to apply to a wide range of downstream tasks.