BiCLIP: Canonicalización de Dominio mediante Transformación Geométrica Estructurada
BiCLIP: Domain Canonicalization via Structured Geometric Transformation
March 9, 2026
Autores: Pranav Mantini, Shishir K. Shah
cs.AI
Resumen
Los recientes avances en los modelos de visión y lenguaje (VLM) han demostrado capacidades notables de zero-shot, sin embargo, adaptar estos modelos a dominios especializados sigue siendo un desafío significativo. Basándonos en recientes perspectivas teóricas que sugieren que los VLM entrenados de forma independiente están relacionados por una transformación canónica, extendemos esta comprensión al concepto de dominios. Nuestra hipótesis postula que las características de imagen a través de dominios dispares están relacionadas por una transformación geométrica canonizada que puede recuperarse utilizando un pequeño conjunto de anclajes. La clasificación few-shot proporciona un escenario natural para esta alineación, ya que las muestras etiquetadas limitadas sirven como los anclajes necesarios para estimar esta transformación. Motivados por esta hipótesis, presentamos BiCLIP, un marco que aplica una transformación dirigida a las características multimodales para mejorar la alineación cross-modal. Nuestro enfoque se caracteriza por su extrema simplicidad y su baja huella de parámetros. Evaluaciones exhaustivas en 11 benchmarks estándar, incluyendo EuroSAT, DTD y FGVCAircraft, demuestran que BiCLIP logra consistentemente resultados de vanguardia. Además, proporcionamos una verificación empírica de hallazgos geométricos existentes mediante el análisis de la ortogonalidad y la distribución angular de las transformaciones aprendidas, confirmando que la alineación estructurada es la clave para una adaptación de dominio robusta. El código está disponible en https://github.com/QuantitativeImagingLaboratory/BilinearCLIP.
English
Recent advances in vision-language models (VLMs) have demonstrated remarkable zero-shot capabilities, yet adapting these models to specialized domains remains a significant challenge. Building on recent theoretical insights suggesting that independently trained VLMs are related by a canonical transformation, we extend this understanding to the concept of domains. We hypothesize that image features across disparate domains are related by a canonicalized geometric transformation that can be recovered using a small set of anchors. Few-shot classification provides a natural setting for this alignment, as the limited labeled samples serve as the anchors required to estimate this transformation. Motivated by this hypothesis, we introduce BiCLIP, a framework that applies a targeted transformation to multimodal features to enhance cross-modal alignment. Our approach is characterized by its extreme simplicity and low parameter footprint. Extensive evaluations across 11 standard benchmarks, including EuroSAT, DTD, and FGVCAircraft, demonstrate that BiCLIP consistently achieves state-of-the-art results. Furthermore, we provide empirical verification of existing geometric findings by analyzing the orthogonality and angular distribution of the learned transformations, confirming that structured alignment is the key to robust domain adaptation. Code is available at https://github.com/QuantitativeImagingLaboratory/BilinearCLIP