JAFAR: Potenzia Qualsiasi Funzione a Qualsiasi Risoluzione

JAFAR: Jack up Any Feature at Any Resolution

June 10, 2025

Autori: Paul Couairon, Loick Chambon, Louis Serrano, Jean-Emmanuel Haugeard, Matthieu Cord, Nicolas Thome

cs.AI

Abstract

I codificatori visivi di base (Foundation Vision Encoders) sono diventati essenziali per un'ampia gamma di attività di visione densa. Tuttavia, le loro uscite di caratteristiche spaziali a bassa risoluzione richiedono un'operazione di upsampling per produrre le modalità ad alta risoluzione necessarie per i task downstream. In questo lavoro, introduciamo JAFAR, un upsampler di caratteristiche leggero e flessibile che migliora la risoluzione spaziale delle caratteristiche visive provenienti da qualsiasi codificatore visivo di base fino a una risoluzione target arbitraria. JAFAR utilizza un modulo basato sull'attenzione progettato per promuovere l'allineamento semantico tra query ad alta risoluzione, derivate da caratteristiche di immagine di basso livello, e chiavi a bassa risoluzione semanticamente arricchite, utilizzando la modulazione Spatial Feature Transform (SFT). È degno di nota che, nonostante l'assenza di supervisione ad alta risoluzione, dimostriamo come l'apprendimento a bassi rapporti di upsampling e risoluzioni si generalizzi in modo eccezionale a scale di output significativamente più elevate. Esperimenti estesi mostrano che JAFAR recupera efficacemente dettagli spaziali fini e supera costantemente i metodi di upsampling esistenti su un'ampia varietà di task downstream. Pagina del progetto disponibile all'indirizzo https://jafar-upsampler.github.io.

English

Foundation Vision Encoders have become essential for a wide range of dense vision tasks. However, their low-resolution spatial feature outputs necessitate feature upsampling to produce the high-resolution modalities required for downstream tasks. In this work, we introduce JAFAR, a lightweight and flexible feature upsampler that enhances the spatial resolution of visual features from any Foundation Vision Encoder to an arbitrary target resolution. JAFAR employs an attention-based module designed to promote semantic alignment between high-resolution queries, derived from low-level image features, and semantically enriched low-resolution keys, using Spatial Feature Transform (SFT) modulation. Notably, despite the absence of high-resolution supervision, we demonstrate that learning at low upsampling ratios and resolutions generalizes remarkably well to significantly higher output scales. Extensive experiments show that JAFAR effectively recovers fine-grained spatial details and consistently outperforms existing feature upsampling methods across a diverse set of downstream tasks. Project page at https://jafar-upsampler.github.io