MuSc-V2: Zero-Shot Multimodale Industriële Anomalieclassificatie en Segmentatie met Onderlinge Beoordeling van Ongelabelde Steekproeven
MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples
November 13, 2025
Auteurs: Xurui Li, Feng Xue, Yu Zhou
cs.AI
Samenvatting
Zero-shot anomalieclassificatie (AC) en -segmentatie (AS) methoden hebben als doel defecten te identificeren en af te bakenen zonder gebruik te maken van gelabelde voorbeelden. In dit artikel belichten we een cruciale eigenschap die door bestaande methoden over het hoofd wordt gezien: normale beeldpatches in industriële producten vinden typisch veel andere gelijkaardige patches, niet alleen in 2D-uiterlijk maar ook in 3D-vormen, terwijl anomalieën divers en geïsoleerd blijven. Om deze onderscheidende eigenschap expliciet te benutten, stellen we een Mutual Scoring-framework (MuSc-V2) voor voor zero-shot AC/AS, dat flexibel ondersteuning biedt voor enkele 2D/3D of multimodaliteit. Concreet verbetert onze methode eerst de 3D-representatie via Iterative Point Grouping (IPG), wat false positives door discontinue oppervlakken reduceert. Vervolgens gebruiken we Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) om 2D/3D nabijheidsinformatie te fuseren tot meer onderscheidende multi-schaal patchkenmerken voor onderlinge scoring. De kern bestaat uit een Mutual Scoring Mechanism (MSM) dat samples binnen elke modaliteit elkaar laat scoren, en Cross-modal Anomaly Enhancement (CAE) dat 2D- en 3D-scores fuseert om modaliteit-specifieke ontbrekende anomalieën te herstellen. Ten slotte onderdrukt Re-scoring with Constrained Neighborhood (RsCon) false classificatie op basis van gelijkenis met meer representatieve samples. Ons framework werkt flexibel op zowel de volledige dataset als kleinere subsets met consistente robuuste prestaties, wat naadloze aanpasbaarheid over diverse productlijnen verzekert. Dankzij dit innovatieve framework behaalt MuSc-V2 significante prestatieverbeteringen: een +23.7% AP-toename op de MVTec 3D-AD dataset en een +19.3% stijging op de Eyecandies dataset, waarmee het eerdere zero-shot benchmarks overtreft en zelfs de meeste few-shot methoden overstijgt. De code zal beschikbaar zijn op https://github.com/HUST-SLOW/MuSc-V2.
English
Zero-shot anomaly classification (AC) and segmentation (AS) methods aim to identify and outline defects without using any labeled samples. In this paper, we reveal a key property that is overlooked by existing methods: normal image patches across industrial products typically find many other similar patches, not only in 2D appearance but also in 3D shapes, while anomalies remain diverse and isolated. To explicitly leverage this discriminative property, we propose a Mutual Scoring framework (MuSc-V2) for zero-shot AC/AS, which flexibly supports single 2D/3D or multimodality. Specifically, our method begins by improving 3D representation through Iterative Point Grouping (IPG), which reduces false positives from discontinuous surfaces. Then we use Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) to fuse 2D/3D neighborhood cues into more discriminative multi-scale patch features for mutual scoring. The core comprises a Mutual Scoring Mechanism (MSM) that lets samples within each modality to assign score to each other, and Cross-modal Anomaly Enhancement (CAE) that fuses 2D and 3D scores to recover modality-specific missing anomalies. Finally, Re-scoring with Constrained Neighborhood (RsCon) suppresses false classification based on similarity to more representative samples. Our framework flexibly works on both the full dataset and smaller subsets with consistently robust performance, ensuring seamless adaptability across diverse product lines. In aid of the novel framework, MuSc-V2 achieves significant performance improvements: a +23.7% AP gain on the MVTec 3D-AD dataset and a +19.3% boost on the Eyecandies dataset, surpassing previous zero-shot benchmarks and even outperforming most few-shot methods. The code will be available at The code will be available at https://github.com/HUST-SLOW/MuSc-V2{https://github.com/HUST-SLOW/MuSc-V2}.