MuSc-V2: Null-Shot Multimodale Industrielle Anomalieklassifikation und -segmentierung mit Gegenseitiger Bewertung Unbeschrifteter Stichproben

MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

November 13, 2025

papers.authors: Xurui Li, Feng Xue, Yu Zhou

cs.AI

papers.abstract

Zero-Shot-Anomalieklassifizierung (AC) und -segmentierung (AS) zielen darauf ab, Defekte ohne Verwendung annotierter Stichproben zu identifizieren und zu umreißen. In diesem Artikel beleuchten wir eine Schlüsseleigenschaft, die von bestehenden Methoden übersehen wird: Normale Bildbereiche (Patches) industrieller Produkte finden typischerweise viele ähnliche Patches – nicht nur in 2D-Erscheinung, sondern auch in 3D-Formen –, während Anomalien vielfältig und isoliert bleiben. Um diese diskriminative Eigenschaft explizit zu nutzen, schlagen wir ein Mutual-Scoring-Framework (MuSc-V2) für Zero-Shot-AC/AS vor, das flexibel einzelne 2D-/3D- oder Multimodalität unterstützt. Konkret verbessert unsere Methode zunächst die 3D-Repräsentation durch Iteratives Punkt-Grouping (IPG), wodurch False Positives durch diskontinuierliche Oberflächen reduziert werden. Anschließend fusionieren wir mit Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) 2D-/3D-Nachbarschaftshinweise zu diskriminativeren Multi-Scale-Patch-Merkmalen für gegenseitiges Bewerten. Der Kern besteht aus einem Mutual-Scoring-Mechanismus (MSM), der Stichproben innerhalb jeder Modalität ermöglicht, sich gegenseitig zu bewerten, und Cross-modal Anomaly Enhancement (CAE), das 2D- und 3D-Bewertungen fusioniert, um modalitätsspezifisch fehlende Anomalien zurückzugewinnen. Finally, Re-scoring with Constrained Neighborhood (RsCon) unterdrückt Fehlklassifizierungen basierend auf Ähnlichkeit zu repräsentativeren Stichproben. Unser Framework funktioniert flexibel sowohl auf vollständigen Datensätzen als auch auf kleineren Teilmengen mit durchgängig robuster Leistung und gewährleistet nahtlose Anpassungsfähigkeit über verschiedene Produktlinien hinweg. Durch das neuartige Framework erzielt MuSc-V2 signifikante Leistungssteigerungen: ein AP-Zuwachs von +23,7 % auf dem MVTec 3D-AD-Datensatz und eine Steigerung von +19,3 % auf dem Eyecandies-Datensatz, womit es frühere Zero-Shot-Benchmarks übertrifft und sogar die meisten Few-Shot-Methoden übertrumpft. Der Code wird verfügbar sein unter https://github.com/HUST-SLOW/MuSc-V2.

English

Zero-shot anomaly classification (AC) and segmentation (AS) methods aim to identify and outline defects without using any labeled samples. In this paper, we reveal a key property that is overlooked by existing methods: normal image patches across industrial products typically find many other similar patches, not only in 2D appearance but also in 3D shapes, while anomalies remain diverse and isolated. To explicitly leverage this discriminative property, we propose a Mutual Scoring framework (MuSc-V2) for zero-shot AC/AS, which flexibly supports single 2D/3D or multimodality. Specifically, our method begins by improving 3D representation through Iterative Point Grouping (IPG), which reduces false positives from discontinuous surfaces. Then we use Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) to fuse 2D/3D neighborhood cues into more discriminative multi-scale patch features for mutual scoring. The core comprises a Mutual Scoring Mechanism (MSM) that lets samples within each modality to assign score to each other, and Cross-modal Anomaly Enhancement (CAE) that fuses 2D and 3D scores to recover modality-specific missing anomalies. Finally, Re-scoring with Constrained Neighborhood (RsCon) suppresses false classification based on similarity to more representative samples. Our framework flexibly works on both the full dataset and smaller subsets with consistently robust performance, ensuring seamless adaptability across diverse product lines. In aid of the novel framework, MuSc-V2 achieves significant performance improvements: a +23.7% AP gain on the MVTec 3D-AD dataset and a +19.3% boost on the Eyecandies dataset, surpassing previous zero-shot benchmarks and even outperforming most few-shot methods. The code will be available at The code will be available at https://github.com/HUST-SLOW/MuSc-V2{https://github.com/HUST-SLOW/MuSc-V2}.