AnyUp : Suréchantillonnage universel de caractéristiques

papers.abstract

Nous présentons AnyUp, une méthode de suréchantillonnage de caractéristiques applicable à toute caractéristique visuelle à n'importe quelle résolution, sans entraînement spécifique à un encodeur. Les suréchantillonneurs basés sur l'apprentissage existants, tels que DINO ou CLIP, nécessitent d'être ré-entraînés pour chaque extracteur de caractéristiques et ne généralisent donc pas à différents types de caractéristiques lors de l'inférence. Dans ce travail, nous proposons une architecture de suréchantillonnage agnostique aux caractéristiques au moment de l'inférence pour atténuer cette limitation et améliorer la qualité du suréchantillonnage. Dans nos expériences, AnyUp établit un nouvel état de l'art pour les caractéristiques suréchantillonnées, généralise à différents types de caractéristiques, et préserve la sémantique des caractéristiques tout en étant efficace et facile à appliquer à un large éventail de tâches en aval.

English

We introduce AnyUp, a method for feature upsampling that can be applied to any vision feature at any resolution, without encoder-specific training. Existing learning-based upsamplers for features like DINO or CLIP need to be re-trained for every feature extractor and thus do not generalize to different feature types at inference time. In this work, we propose an inference-time feature-agnostic upsampling architecture to alleviate this limitation and improve upsampling quality. In our experiments, AnyUp sets a new state of the art for upsampled features, generalizes to different feature types, and preserves feature semantics while being efficient and easy to apply to a wide range of downstream tasks.

AnyUp : Suréchantillonnage universel de caractéristiques

AnyUp: Universal Feature Upsampling

papers.abstract

Support