AdaptCLIP: Aanpassen van CLIP voor Universele Visuele Anomaliedetectie

AdaptCLIP: Adapting CLIP for Universal Visual Anomaly Detection

May 15, 2025

Auteurs: Bin-Bin Gao, Yue Zhu, Jiangtao Yan, Yuezhi Cai, Weixi Zhang, Meng Wang, Jun Liu, Yong Liu, Lei Wang, Chengjie Wang

cs.AI

Samenvatting

Universele visuele anomaliedetectie heeft als doel anomalieën te identificeren uit nieuwe of onbekende visuele domeinen zonder aanvullende fine-tuning, wat cruciaal is in open scenario's. Recente studies hebben aangetoond dat vooraf getrainde visueel-taalmodelen zoals CLIP sterke generalisatie vertonen met slechts nul of enkele normale afbeeldingen. Bestaande methoden hebben echter moeite met het ontwerpen van promptsjablonen, complexe tokeninteracties of vereisen aanvullende fine-tuning, wat resulteert in beperkte flexibiliteit. In dit werk presenteren we een eenvoudige maar effectieve methode genaamd AdaptCLIP, gebaseerd op twee belangrijke inzichten. Ten eerste moeten adaptieve visuele en tekstuele representaties afwisselend worden geleerd in plaats van gezamenlijk. Ten tweede moet vergelijkend leren tussen query- en normale afbeeldingsprompt zowel contextuele als uitgelijnde resterende kenmerken incorporeren, in plaats van uitsluitend te vertrouwen op resterende kenmerken. AdaptCLIP behandelt CLIP-modellen als een fundamentele service, waarbij slechts drie eenvoudige adapters worden toegevoegd: een visuele adapter, een tekstuele adapter en een prompt-query adapter, aan de invoer- of uitvoerzijden. AdaptCLIP ondersteunt zero-/few-shot generalisatie over domeinen en heeft een trainingsvrije aanpak op doeldomeinen zodra het is getraind op een basisdataset. AdaptCLIP behaalt state-of-the-art prestaties op 12 anomaliedetectiebenchmarks uit industriële en medische domeinen, en overtreft aanzienlijk bestaande competitieve methoden. We zullen de code en het model van AdaptCLIP beschikbaar stellen op https://github.com/gaobb/AdaptCLIP.

English

Universal visual anomaly detection aims to identify anomalies from novel or unseen vision domains without additional fine-tuning, which is critical in open scenarios. Recent studies have demonstrated that pre-trained vision-language models like CLIP exhibit strong generalization with just zero or a few normal images. However, existing methods struggle with designing prompt templates, complex token interactions, or requiring additional fine-tuning, resulting in limited flexibility. In this work, we present a simple yet effective method called AdaptCLIP based on two key insights. First, adaptive visual and textual representations should be learned alternately rather than jointly. Second, comparative learning between query and normal image prompt should incorporate both contextual and aligned residual features, rather than relying solely on residual features. AdaptCLIP treats CLIP models as a foundational service, adding only three simple adapters, visual adapter, textual adapter, and prompt-query adapter, at its input or output ends. AdaptCLIP supports zero-/few-shot generalization across domains and possesses a training-free manner on target domains once trained on a base dataset. AdaptCLIP achieves state-of-the-art performance on 12 anomaly detection benchmarks from industrial and medical domains, significantly outperforming existing competitive methods. We will make the code and model of AdaptCLIP available at https://github.com/gaobb/AdaptCLIP.