BiCLIP: Canonicalizzazione del Dominio tramite Trasformazione Geometrica Strutturata
BiCLIP: Domain Canonicalization via Structured Geometric Transformation
March 9, 2026
Autori: Pranav Mantini, Shishir K. Shah
cs.AI
Abstract
I recenti progressi nei modelli visione-linguaggio (VLM) hanno dimostrato notevoli capacità zero-shot, ma l'adattamento di questi modelli a domini specializzati rimane una sfida significativa. Basandoci su recenti intuizioni teoriche che suggeriscono come VLM addestrati indipendentemente siano collegati da una trasformazione canonica, estendiamo questa comprensione al concetto di domini. Ipotesizziamo che le caratteristiche delle immagini tra domini disparati siano correlate da una trasformazione geometrica canonizzata che può essere recuperata utilizzando un piccolo insieme di ancore. La classificazione few-shot fornisce un contesto naturale per questo allineamento, poiché i campioni etichettati limitati fungono da ancore necessarie per stimare questa trasformazione. Motivati da questa ipotesi, introduciamo BiCLIP, un framework che applica una trasformazione mirata alle caratteristiche multimodali per migliorare l'allineamento cross-modale. Il nostro approccio è caratterizzato da estrema semplicità e basso impatto parametrico. Valutazioni estese su 11 benchmark standard, tra cui EuroSAT, DTD e FGVCAircraft, dimostrano che BiCLIP raggiunge costantemente risultati all'avanguardia. Inoltre, forniamo una verifica empirica dei risultati geometrici esistenti analizzando l'ortogonalità e la distribuzione angolare delle trasformazioni apprese, confermando che l'allineamento strutturato è la chiave per un robusto adattamento di dominio. Il codice è disponibile all'indirizzo https://github.com/QuantitativeImagingLaboratory/BilinearCLIP
English
Recent advances in vision-language models (VLMs) have demonstrated remarkable zero-shot capabilities, yet adapting these models to specialized domains remains a significant challenge. Building on recent theoretical insights suggesting that independently trained VLMs are related by a canonical transformation, we extend this understanding to the concept of domains. We hypothesize that image features across disparate domains are related by a canonicalized geometric transformation that can be recovered using a small set of anchors. Few-shot classification provides a natural setting for this alignment, as the limited labeled samples serve as the anchors required to estimate this transformation. Motivated by this hypothesis, we introduce BiCLIP, a framework that applies a targeted transformation to multimodal features to enhance cross-modal alignment. Our approach is characterized by its extreme simplicity and low parameter footprint. Extensive evaluations across 11 standard benchmarks, including EuroSAT, DTD, and FGVCAircraft, demonstrate that BiCLIP consistently achieves state-of-the-art results. Furthermore, we provide empirical verification of existing geometric findings by analyzing the orthogonality and angular distribution of the learned transformations, confirming that structured alignment is the key to robust domain adaptation. Code is available at https://github.com/QuantitativeImagingLaboratory/BilinearCLIP