BiCLIP: Доменная канонизация посредством структурированного геометрического преобразования

BiCLIP: Domain Canonicalization via Structured Geometric Transformation

March 9, 2026

Авторы: Pranav Mantini, Shishir K. Shah

cs.AI

Аннотация

Последние достижения в области визуально-языковых моделей (VLM) продемонстрировали впечатляющие возможности zero-shot обучения, однако адаптация этих моделей к специализированным доменам остаётся серьёзной проблемой. Опираясь на недавние теоретические инсайты, предполагающие, что независимо обученные VLM связаны каноническим преобразованием, мы расширяем это понимание на концепцию доменов. Мы выдвигаем гипотезу, что особенности изображений из различных доменов связаны канонизированным геометрическим преобразованием, которое можно восстановить с помощью небольшого набора якорных точек. Классификация с малым числом примеров предоставляет естественную среду для такого выравнивания, поскольку ограниченные размеченные образцы служат якорями, необходимыми для оценки этого преобразования. Руководствуясь этой гипотезой, мы представляем BiCLIP — фреймворк, применяющий целевое преобразование к мультимодальным признакам для улучшения межмодального согласования. Наш подход характеризуется исключительной простотой и низким параметрическим следом. Масштабные оценки на 11 стандартных бенчмарках, включая EuroSAT, DTD и FGVCAircraft, демонстрируют, что BiCLIP стабильно достигает state-of-the-art результатов. Кроме того, мы предоставляем эмпирическое подтверждение существующих геометрических находок через анализ ортогональности и углового распределения изученных преобразований, подтверждая, что структурированное выравнивание является ключом к устойчивой адаптации к домену. Код доступен по адресу https://github.com/QuantitativeImagingLaboratory/BilinearCLIP

English

Recent advances in vision-language models (VLMs) have demonstrated remarkable zero-shot capabilities, yet adapting these models to specialized domains remains a significant challenge. Building on recent theoretical insights suggesting that independently trained VLMs are related by a canonical transformation, we extend this understanding to the concept of domains. We hypothesize that image features across disparate domains are related by a canonicalized geometric transformation that can be recovered using a small set of anchors. Few-shot classification provides a natural setting for this alignment, as the limited labeled samples serve as the anchors required to estimate this transformation. Motivated by this hypothesis, we introduce BiCLIP, a framework that applies a targeted transformation to multimodal features to enhance cross-modal alignment. Our approach is characterized by its extreme simplicity and low parameter footprint. Extensive evaluations across 11 standard benchmarks, including EuroSAT, DTD, and FGVCAircraft, demonstrate that BiCLIP consistently achieves state-of-the-art results. Furthermore, we provide empirical verification of existing geometric findings by analyzing the orthogonality and angular distribution of the learned transformations, confirming that structured alignment is the key to robust domain adaptation. Code is available at https://github.com/QuantitativeImagingLaboratory/BilinearCLIP