AnyUp: Universele Feature Upsampling
AnyUp: Universal Feature Upsampling
October 14, 2025
Auteurs: Thomas Wimmer, Prune Truong, Marie-Julie Rakotosaona, Michael Oechsle, Federico Tombari, Bernt Schiele, Jan Eric Lenssen
cs.AI
Samenvatting
We introduceren AnyUp, een methode voor feature-upsampling die kan worden toegepast op elke visuele feature bij elke resolutie, zonder encoder-specifieke training. Bestaande op leren gebaseerde upsamplers voor features zoals DINO of CLIP moeten voor elke feature-extractor opnieuw worden getraind en generaliseren daarom niet naar verschillende feature-types tijdens inferentie. In dit werk stellen we een inferentie-tijd feature-agnostische upsampling-architectuur voor om deze beperking te verlichten en de kwaliteit van upsampling te verbeteren. In onze experimenten stelt AnyUp een nieuwe standaard voor upsampled features, generaliseert het naar verschillende feature-types en behoudt het feature-semantiek, terwijl het efficiënt en eenvoudig toepasbaar is op een breed scala aan downstream taken.
English
We introduce AnyUp, a method for feature upsampling that can be applied to
any vision feature at any resolution, without encoder-specific training.
Existing learning-based upsamplers for features like DINO or CLIP need to be
re-trained for every feature extractor and thus do not generalize to different
feature types at inference time. In this work, we propose an inference-time
feature-agnostic upsampling architecture to alleviate this limitation and
improve upsampling quality. In our experiments, AnyUp sets a new state of the
art for upsampled features, generalizes to different feature types, and
preserves feature semantics while being efficient and easy to apply to a wide
range of downstream tasks.