BiCLIP: Canonicalização de Domínio via Transformação Geométrica Estruturada
BiCLIP: Domain Canonicalization via Structured Geometric Transformation
March 9, 2026
Autores: Pranav Mantini, Shishir K. Shah
cs.AI
Resumo
Os recentes avanços em modelos visão-linguagem (VLMs) demonstraram capacidades notáveis de generalização zero-shot, mas a adaptação desses modelos a domínios especializados continua sendo um desafio significativo. Com base em insights teóricos recentes que sugerem que VLMs treinados independentemente estão relacionados por uma transformação canônica, estendemos esse entendimento para o conceito de domínios. Nossa hipótese é que as características de imagem em domínios distintos estão relacionadas por uma transformação geométrica canonizada que pode ser recuperada usando um pequeno conjunto de âncoras. A classificação com poucos exemplos fornece um cenário natural para esse alinhamento, uma vez que as amostras rotuladas limitadas servem como as âncoras necessárias para estimar essa transformação. Motivados por essa hipótese, introduzimos o BiCLIP, uma estrutura que aplica uma transformação direcionada a características multimodais para melhorar o alinhamento cross-modal. Nossa abordagem é caracterizada por sua extrema simplicidade e baixa pegada de parâmetros. Avaliações extensas em 11 benchmarks padrão, incluindo EuroSAT, DTD e FGVCAircraft, demonstram que o BiCLIP alcança consistentemente resultados state-of-the-art. Além disso, fornecemos uma verificação empírica de descobertas geométricas existentes analisando a ortogonalidade e a distribuição angular das transformações aprendidas, confirmando que o alinhamento estruturado é a chave para uma adaptação de domínio robusta. O código está disponível em https://github.com/QuantitativeImagingLaboratory/BilinearCLIP.
English
Recent advances in vision-language models (VLMs) have demonstrated remarkable zero-shot capabilities, yet adapting these models to specialized domains remains a significant challenge. Building on recent theoretical insights suggesting that independently trained VLMs are related by a canonical transformation, we extend this understanding to the concept of domains. We hypothesize that image features across disparate domains are related by a canonicalized geometric transformation that can be recovered using a small set of anchors. Few-shot classification provides a natural setting for this alignment, as the limited labeled samples serve as the anchors required to estimate this transformation. Motivated by this hypothesis, we introduce BiCLIP, a framework that applies a targeted transformation to multimodal features to enhance cross-modal alignment. Our approach is characterized by its extreme simplicity and low parameter footprint. Extensive evaluations across 11 standard benchmarks, including EuroSAT, DTD, and FGVCAircraft, demonstrate that BiCLIP consistently achieves state-of-the-art results. Furthermore, we provide empirical verification of existing geometric findings by analyzing the orthogonality and angular distribution of the learned transformations, confirming that structured alignment is the key to robust domain adaptation. Code is available at https://github.com/QuantitativeImagingLaboratory/BilinearCLIP