MuSc-V2: Classificazione e Segmentazione Zero-Shot di Anomalie Industriali Multimodali con Punteggio Reciproco di Campioni Non Etichettati

MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

November 13, 2025

Autori: Xurui Li, Feng Xue, Yu Zhou

cs.AI

Abstract

I metodi di classificazione (AC) e segmentazione (AS) delle anomalie zero-shot mirano a identificare e delineare i difetti senza utilizzare alcun campione etichettato. In questo articolo, riveliamo una proprietà chiave trascurata dai metodi esistenti: i patch di immagini normali attraverso i prodotti industriali tipicamente trovano molti altri patch simili, non solo nell'aspetto 2D ma anche nelle forme 3D, mentre le anomalie rimangono diverse e isolate. Per sfruttare esplicitamente questa proprietà discriminativa, proponiamo un framework di Mutual Scoring (MuSc-V2) per AC/AS zero-shot, che supporta flessibilmente singole modalità 2D/3D o multimodalità. Nello specifico, il nostro metodo inizia migliorando la rappresentazione 3D attraverso l'Iterative Point Grouping (IPG), che riduce i falsi positivi da superfici discontinue. Quindi utilizziamo la Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) per fondere gli indizi di vicinato 2D/3D in feature di patch multi-scala più discriminative per il punteggio reciproco. Il nucleo comprende un Mutual Scoring Mechanism (MSM) che permette ai campioni all'interno di ciascuna modalità di assegnare un punteggio l'un l'altro, e una Cross-modal Anomaly Enhancement (CAE) che fonde i punteggi 2D e 3D per recuperare le anomalie mancanti specifiche della modalità. Infine, il Re-scoring with Constrained Neighborhood (RsCon) sopprime le false classificazioni basate sulla somiglianza con campioni più rappresentativi. Il nostro framework funziona flessibilmente sia sul dataset completo che su sottoinsiemi più piccoli con prestazioni costantemente robuste, garantendo una adattabilità senza soluzione di continuità attraverso diverse linee di prodotto. Grazie al nuovo framework, MuSc-V2 raggiunge miglioramenti prestazionali significativi: un guadagno di +23.7% AP sul dataset MVTec 3D-AD e un incremento di +19.3% sul dataset Eyecandies, superando i precedenti benchmark zero-shot e superando persino la maggior parte dei metodi few-shot. Il codice sarà disponibile su https://github.com/HUST-SLOW/MuSc-V2.

English

Zero-shot anomaly classification (AC) and segmentation (AS) methods aim to identify and outline defects without using any labeled samples. In this paper, we reveal a key property that is overlooked by existing methods: normal image patches across industrial products typically find many other similar patches, not only in 2D appearance but also in 3D shapes, while anomalies remain diverse and isolated. To explicitly leverage this discriminative property, we propose a Mutual Scoring framework (MuSc-V2) for zero-shot AC/AS, which flexibly supports single 2D/3D or multimodality. Specifically, our method begins by improving 3D representation through Iterative Point Grouping (IPG), which reduces false positives from discontinuous surfaces. Then we use Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) to fuse 2D/3D neighborhood cues into more discriminative multi-scale patch features for mutual scoring. The core comprises a Mutual Scoring Mechanism (MSM) that lets samples within each modality to assign score to each other, and Cross-modal Anomaly Enhancement (CAE) that fuses 2D and 3D scores to recover modality-specific missing anomalies. Finally, Re-scoring with Constrained Neighborhood (RsCon) suppresses false classification based on similarity to more representative samples. Our framework flexibly works on both the full dataset and smaller subsets with consistently robust performance, ensuring seamless adaptability across diverse product lines. In aid of the novel framework, MuSc-V2 achieves significant performance improvements: a +23.7% AP gain on the MVTec 3D-AD dataset and a +19.3% boost on the Eyecandies dataset, surpassing previous zero-shot benchmarks and even outperforming most few-shot methods. The code will be available at The code will be available at https://github.com/HUST-SLOW/MuSc-V2{https://github.com/HUST-SLOW/MuSc-V2}.