AdaptCLIP : Adaptation de CLIP pour la détection universelle d'anomalies visuelles

AdaptCLIP: Adapting CLIP for Universal Visual Anomaly Detection

May 15, 2025

Auteurs: Bin-Bin Gao, Yue Zhu, Jiangtao Yan, Yuezhi Cai, Weixi Zhang, Meng Wang, Jun Liu, Yong Liu, Lei Wang, Chengjie Wang

cs.AI

Résumé

La détection universelle d'anomalies visuelles vise à identifier des anomalies dans des domaines visuels nouveaux ou inconnus sans ajustement supplémentaire, ce qui est crucial dans des scénarios ouverts. Des études récentes ont démontré que les modèles vision-langage pré-entraînés comme CLIP présentent une forte généralisation avec seulement zéro ou quelques images normales. Cependant, les méthodes existantes peinent à concevoir des modèles de prompts, des interactions complexes entre tokens, ou nécessitent un ajustement supplémentaire, ce qui limite leur flexibilité. Dans ce travail, nous présentons une méthode simple mais efficace appelée AdaptCLIP, basée sur deux idées clés. Premièrement, les représentations visuelles et textuelles adaptatives doivent être apprises alternativement plutôt que conjointement. Deuxièmement, l'apprentissage comparatif entre la requête et le prompt d'image normale doit intégrer à la fois des caractéristiques contextuelles et des caractéristiques résiduelles alignées, plutôt que de reposer uniquement sur les caractéristiques résiduelles. AdaptCLIP traite les modèles CLIP comme un service de base, en ajoutant seulement trois adaptateurs simples : un adaptateur visuel, un adaptateur textuel et un adaptateur prompt-requête, à ses entrées ou sorties. AdaptCLIP supporte la généralisation zero-/few-shot à travers différents domaines et possède une approche sans entraînement sur les domaines cibles une fois entraîné sur un ensemble de données de base. AdaptCLIP atteint des performances de pointe sur 12 benchmarks de détection d'anomalies provenant de domaines industriels et médicaux, surpassant significativement les méthodes concurrentes existantes. Nous mettrons le code et le modèle d'AdaptCLIP à disposition sur https://github.com/gaobb/AdaptCLIP.

English

Universal visual anomaly detection aims to identify anomalies from novel or unseen vision domains without additional fine-tuning, which is critical in open scenarios. Recent studies have demonstrated that pre-trained vision-language models like CLIP exhibit strong generalization with just zero or a few normal images. However, existing methods struggle with designing prompt templates, complex token interactions, or requiring additional fine-tuning, resulting in limited flexibility. In this work, we present a simple yet effective method called AdaptCLIP based on two key insights. First, adaptive visual and textual representations should be learned alternately rather than jointly. Second, comparative learning between query and normal image prompt should incorporate both contextual and aligned residual features, rather than relying solely on residual features. AdaptCLIP treats CLIP models as a foundational service, adding only three simple adapters, visual adapter, textual adapter, and prompt-query adapter, at its input or output ends. AdaptCLIP supports zero-/few-shot generalization across domains and possesses a training-free manner on target domains once trained on a base dataset. AdaptCLIP achieves state-of-the-art performance on 12 anomaly detection benchmarks from industrial and medical domains, significantly outperforming existing competitive methods. We will make the code and model of AdaptCLIP available at https://github.com/gaobb/AdaptCLIP.