AnyUp: Universelle Merkmalshochskalierung

AnyUp: Universal Feature Upsampling

October 14, 2025

papers.authors: Thomas Wimmer, Prune Truong, Marie-Julie Rakotosaona, Michael Oechsle, Federico Tombari, Bernt Schiele, Jan Eric Lenssen

cs.AI

papers.abstract

Wir stellen AnyUp vor, eine Methode zur Feature-Upsampling, die auf beliebige visuelle Features in jeder Auflösung angewendet werden kann, ohne spezifisches Training für den Encoder. Bestehende lernbasierte Upsampling-Verfahren für Features wie DINO oder CLIP müssen für jeden Feature-Extraktor neu trainiert werden und generalisieren daher nicht auf verschiedene Feature-Typen zur Inferenzzeit. In dieser Arbeit schlagen wir eine zur Inferenzzeit feature-agnostische Upsampling-Architektur vor, um diese Einschränkung zu überwinden und die Upsampling-Qualität zu verbessern. In unseren Experimenten setzt AnyUp einen neuen Maßstab für upgesamplte Features, generalisiert auf verschiedene Feature-Typen und bewahrt die Feature-Semantik, während es effizient und einfach auf eine Vielzahl von Downstream-Aufgaben anwendbar ist.

English

We introduce AnyUp, a method for feature upsampling that can be applied to any vision feature at any resolution, without encoder-specific training. Existing learning-based upsamplers for features like DINO or CLIP need to be re-trained for every feature extractor and thus do not generalize to different feature types at inference time. In this work, we propose an inference-time feature-agnostic upsampling architecture to alleviate this limitation and improve upsampling quality. In our experiments, AnyUp sets a new state of the art for upsampled features, generalizes to different feature types, and preserves feature semantics while being efficient and easy to apply to a wide range of downstream tasks.