AdaptCLIP: Адаптация CLIP для универсального обнаружения визуальных аномалий

AdaptCLIP: Adapting CLIP for Universal Visual Anomaly Detection

May 15, 2025

Авторы: Bin-Bin Gao, Yue Zhu, Jiangtao Yan, Yuezhi Cai, Weixi Zhang, Meng Wang, Jun Liu, Yong Liu, Lei Wang, Chengjie Wang

cs.AI

Аннотация

Универсальное обнаружение визуальных аномалий направлено на выявление аномалий в новых или неизвестных визуальных доменах без дополнительной тонкой настройки, что критически важно в открытых сценариях. Недавние исследования показали, что предварительно обученные модели, такие как CLIP, демонстрируют сильную обобщающую способность даже при наличии нулевого или небольшого количества нормальных изображений. Однако существующие методы сталкиваются с трудностями при проектировании шаблонов запросов, сложных взаимодействий токенов или требуют дополнительной тонкой настройки, что ограничивает их гибкость. В данной работе мы представляем простой, но эффективный метод под названием AdaptCLIP, основанный на двух ключевых идеях. Во-первых, адаптивные визуальные и текстовые представления должны изучаться поочередно, а не совместно. Во-вторых, сравнительное обучение между запросом и подсказкой нормального изображения должно учитывать как контекстные, так и выровненные остаточные признаки, а не полагаться исключительно на остаточные признаки. AdaptCLIP рассматривает модели CLIP как базовый сервис, добавляя только три простых адаптера — визуальный адаптер, текстовый адаптер и адаптер запроса-подсказки — на входных или выходных концах. AdaptCLIP поддерживает обобщение в условиях нулевого/малочисленного обучения в различных доменах и обладает способностью работать без дополнительного обучения на целевых доменах после обучения на базовом наборе данных. AdaptCLIP достигает наилучших результатов на 12 эталонных тестах по обнаружению аномалий в промышленных и медицинских доменах, значительно превосходя существующие конкурентоспособные методы. Мы сделаем код и модель AdaptCLIP доступными по адресу https://github.com/gaobb/AdaptCLIP.

English

Universal visual anomaly detection aims to identify anomalies from novel or unseen vision domains without additional fine-tuning, which is critical in open scenarios. Recent studies have demonstrated that pre-trained vision-language models like CLIP exhibit strong generalization with just zero or a few normal images. However, existing methods struggle with designing prompt templates, complex token interactions, or requiring additional fine-tuning, resulting in limited flexibility. In this work, we present a simple yet effective method called AdaptCLIP based on two key insights. First, adaptive visual and textual representations should be learned alternately rather than jointly. Second, comparative learning between query and normal image prompt should incorporate both contextual and aligned residual features, rather than relying solely on residual features. AdaptCLIP treats CLIP models as a foundational service, adding only three simple adapters, visual adapter, textual adapter, and prompt-query adapter, at its input or output ends. AdaptCLIP supports zero-/few-shot generalization across domains and possesses a training-free manner on target domains once trained on a base dataset. AdaptCLIP achieves state-of-the-art performance on 12 anomaly detection benchmarks from industrial and medical domains, significantly outperforming existing competitive methods. We will make the code and model of AdaptCLIP available at https://github.com/gaobb/AdaptCLIP.