BiCLIP: Domeincanonisering via gestructureerde geometrische transformatie

BiCLIP: Domain Canonicalization via Structured Geometric Transformation

March 9, 2026

Auteurs: Pranav Mantini, Shishir K. Shah

cs.AI

Samenvatting

Recente vooruitgang in vision-language modellen (VLM's) heeft opmerkelijke zero-shot capaciteiten aangetoond, maar het aanpassen van deze modellen aan gespecialiseerde domeinen blijft een aanzienlijke uitdaging. Voortbouwend op recente theoretische inzichten die suggereren dat onafhankelijk getrainde VLM's verbonden zijn door een canonieke transformatie, breiden we dit begrip uit naar het concept van domeinen. Wij veronderstellen dat beeldkenmerken over uiteenlopende domeinen verbonden zijn door een genormaliseerde geometrische transformatie die kan worden gereconstrueerd met behulp van een kleine set ankerpunten. Few-shot classificatie biedt een natuurlijke setting voor deze uitlijning, aangezien de beperkte gelabelde voorbeelden dienen als de ankerpunten die nodig zijn om deze transformatie te schatten. Gemotiveerd door deze hypothese introduceren we BiCLIP, een raamwerk dat een gerichte transformatie toepast op multimodale kenmerken om de cross-modale uitlijning te verbeteren. Onze aanpak kenmerkt zich door extreme eenvoud en een lage parameterfootprint. Uitgebreide evaluaties over 11 standaard benchmarks, waaronder EuroSAT, DTD en FGVCAircraft, tonen aan dat BiCLIP consistent state-of-the-art resultaten behaalt. Verder leveren we empirische verificatie van bestaande geometrische bevindingen door de orthogonaliteit en hoekverdeling van de geleerde transformaties te analyseren, wat bevestigt dat gestructureerde uitlijning de sleutel is tot robuuste domeinadaptatie. Code is beschikbaar op https://github.com/QuantitativeImagingLaboratory/BilinearCLIP.

English

Recent advances in vision-language models (VLMs) have demonstrated remarkable zero-shot capabilities, yet adapting these models to specialized domains remains a significant challenge. Building on recent theoretical insights suggesting that independently trained VLMs are related by a canonical transformation, we extend this understanding to the concept of domains. We hypothesize that image features across disparate domains are related by a canonicalized geometric transformation that can be recovered using a small set of anchors. Few-shot classification provides a natural setting for this alignment, as the limited labeled samples serve as the anchors required to estimate this transformation. Motivated by this hypothesis, we introduce BiCLIP, a framework that applies a targeted transformation to multimodal features to enhance cross-modal alignment. Our approach is characterized by its extreme simplicity and low parameter footprint. Extensive evaluations across 11 standard benchmarks, including EuroSAT, DTD, and FGVCAircraft, demonstrate that BiCLIP consistently achieves state-of-the-art results. Furthermore, we provide empirical verification of existing geometric findings by analyzing the orthogonality and angular distribution of the learned transformations, confirming that structured alignment is the key to robust domain adaptation. Code is available at https://github.com/QuantitativeImagingLaboratory/BilinearCLIP