MuSc-V2: Clasificación y Segmentación de Anomalías Industriales Multimodales sin Ejemplos Previos mediante Puntuación Mutua de Muestras No Etiquetadas

MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

November 13, 2025

Autores: Xurui Li, Feng Xue, Yu Zhou

cs.AI

Resumen

Los métodos de clasificación (AC) y segmentación (AS) de anomalías zero-shot tienen como objetivo identificar y delimitar defectos sin utilizar muestras etiquetadas. En este artículo, revelamos una propiedad clave pasada por alto por los métodos existentes: los parches de imágenes normales en productos industriales suelen encontrar muchos otros parches similares, no solo en apariencia 2D sino también en formas 3D, mientras que las anomalías permanecen diversas y aisladas. Para aprovechar explícitamente esta propiedad discriminativa, proponemos un marco de Puntuación Mutua (MuSc-V2) para AC/AS zero-shot, que admite de forma flexible modalidad única 2D/3D o multimodalidad. Específicamente, nuestro método comienza mejorando la representación 3D mediante Agrupación Iterativa de Puntos (IPG), que reduce los falsos positivos provenientes de superficies discontinuas. Luego utilizamos Agregación de Vecindarios por Similitud con Múltiples Grados (SNAMD) para fusionar indicios de vecindarios 2D/3D en características de parches multiescala más discriminativas para la puntuación mutua. El núcleo comprende un Mecanismo de Puntuación Mutua (MSM) que permite a las muestras dentro de cada modalidad asignarse puntuación entre sí, y una Mejora de Anomalías Cross-modal (CAE) que fusiona las puntuaciones 2D y 3D para recuperar anomalías faltantes específicas de cada modalidad. Finalmente, la Repuntuación con Vecindario Restringido (RsCon) suprime la clasificación falsa basándose en la similitud con muestras más representativas. Nuestro marco funciona de manera flexible tanto en el conjunto de datos completo como en subconjuntos más pequeños con un rendimiento consistentemente robusto, garantizando una adaptabilidad perfecta en diversas líneas de productos. Gracias a este novedoso marco, MuSc-V2 logra mejoras significativas de rendimiento: una ganancia de +23.7% AP en el conjunto de datos MVTec 3D-AD y un aumento de +19.3% en el conjunto de datos Eyecandies, superando los benchmarks zero-shot anteriores e incluso superando a la mayoría de los métodos few-shot. El código estará disponible en https://github.com/HUST-SLOW/MuSc-V2.

English

Zero-shot anomaly classification (AC) and segmentation (AS) methods aim to identify and outline defects without using any labeled samples. In this paper, we reveal a key property that is overlooked by existing methods: normal image patches across industrial products typically find many other similar patches, not only in 2D appearance but also in 3D shapes, while anomalies remain diverse and isolated. To explicitly leverage this discriminative property, we propose a Mutual Scoring framework (MuSc-V2) for zero-shot AC/AS, which flexibly supports single 2D/3D or multimodality. Specifically, our method begins by improving 3D representation through Iterative Point Grouping (IPG), which reduces false positives from discontinuous surfaces. Then we use Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) to fuse 2D/3D neighborhood cues into more discriminative multi-scale patch features for mutual scoring. The core comprises a Mutual Scoring Mechanism (MSM) that lets samples within each modality to assign score to each other, and Cross-modal Anomaly Enhancement (CAE) that fuses 2D and 3D scores to recover modality-specific missing anomalies. Finally, Re-scoring with Constrained Neighborhood (RsCon) suppresses false classification based on similarity to more representative samples. Our framework flexibly works on both the full dataset and smaller subsets with consistently robust performance, ensuring seamless adaptability across diverse product lines. In aid of the novel framework, MuSc-V2 achieves significant performance improvements: a +23.7% AP gain on the MVTec 3D-AD dataset and a +19.3% boost on the Eyecandies dataset, surpassing previous zero-shot benchmarks and even outperforming most few-shot methods. The code will be available at The code will be available at https://github.com/HUST-SLOW/MuSc-V2{https://github.com/HUST-SLOW/MuSc-V2}.