AdaptCLIP: Anpassung von CLIP für die universelle visuelle Anomalieerkennung

AdaptCLIP: Adapting CLIP for Universal Visual Anomaly Detection

May 15, 2025

Autoren: Bin-Bin Gao, Yue Zhu, Jiangtao Yan, Yuezhi Cai, Weixi Zhang, Meng Wang, Jun Liu, Yong Liu, Lei Wang, Chengjie Wang

cs.AI

Zusammenfassung

Die universelle visuelle Anomalieerkennung zielt darauf ab, Anomalien aus neuen oder unbekannten visuellen Domänen zu identifizieren, ohne zusätzliches Fine-Tuning, was in offenen Szenarien von entscheidender Bedeutung ist. Jüngste Studien haben gezeigt, dass vortrainierte Vision-Language-Modelle wie CLIP eine starke Generalisierung mit nur null oder wenigen normalen Bildern aufweisen. Allerdings kämpfen bestehende Methoden mit der Gestaltung von Prompt-Vorlagen, komplexen Token-Interaktionen oder erfordern zusätzliches Fine-Tuning, was zu eingeschränkter Flexibilität führt. In dieser Arbeit präsentieren wir eine einfache, aber effektive Methode namens AdaptCLIP, die auf zwei zentralen Erkenntnissen basiert. Erstens sollten adaptive visuelle und textuelle Repräsentationen abwechselnd und nicht gemeinsam gelernt werden. Zweitens sollte das vergleichende Lernen zwischen Abfrage- und Normalbild-Prompt sowohl kontextuelle als auch ausgerichtete Residuenmerkmale einbeziehen, anstatt sich ausschließlich auf Residuenmerkmale zu verlassen. AdaptCLIP behandelt CLIP-Modelle als grundlegenden Dienst und fügt nur drei einfache Adapter hinzu: einen visuellen Adapter, einen textuellen Adapter und einen Prompt-Abfrage-Adapter, an seinen Ein- oder Ausgangsenden. AdaptCLIP unterstützt Zero-/Few-Shot-Generalisierung über Domänen hinweg und verfügt über einen trainingsfreien Ansatz auf Zieldomänen, sobald es auf einem Basisdatensatz trainiert wurde. AdaptCLIP erzielt state-of-the-art Leistung auf 12 Anomalieerkennungs-Benchmarks aus industriellen und medizinischen Domänen und übertrifft dabei bestehende wettbewerbsfähige Methoden deutlich. Wir werden den Code und das Modell von AdaptCLIP unter https://github.com/gaobb/AdaptCLIP verfügbar machen.

English

Universal visual anomaly detection aims to identify anomalies from novel or unseen vision domains without additional fine-tuning, which is critical in open scenarios. Recent studies have demonstrated that pre-trained vision-language models like CLIP exhibit strong generalization with just zero or a few normal images. However, existing methods struggle with designing prompt templates, complex token interactions, or requiring additional fine-tuning, resulting in limited flexibility. In this work, we present a simple yet effective method called AdaptCLIP based on two key insights. First, adaptive visual and textual representations should be learned alternately rather than jointly. Second, comparative learning between query and normal image prompt should incorporate both contextual and aligned residual features, rather than relying solely on residual features. AdaptCLIP treats CLIP models as a foundational service, adding only three simple adapters, visual adapter, textual adapter, and prompt-query adapter, at its input or output ends. AdaptCLIP supports zero-/few-shot generalization across domains and possesses a training-free manner on target domains once trained on a base dataset. AdaptCLIP achieves state-of-the-art performance on 12 anomaly detection benchmarks from industrial and medical domains, significantly outperforming existing competitive methods. We will make the code and model of AdaptCLIP available at https://github.com/gaobb/AdaptCLIP.