MuSc-V2: Classificação e Segmentação Zero-Shot de Anomalias Industriais Multimodais com Pontuação Mútua de Amostras Não Rotuladas

MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

November 13, 2025

Autores: Xurui Li, Feng Xue, Yu Zhou

cs.AI

Resumo

Os métodos de classificação (AC) e segmentação (AS) de anomalias *zero-shot* visam identificar e delinear defeitos sem utilizar quaisquer amostras rotuladas. Neste artigo, revelamos uma propriedade fundamental negligenciada pelos métodos existentes: os *patches* de imagens normais em produtos industriais tipicamente encontram muitos outros *patches* semelhantes, não apenas na aparência 2D, mas também nas formas 3D, enquanto as anomalias permanecem diversas e isoladas. Para explorar explicitamente esta propriedade discriminativa, propomos uma estrutura de Pontuação Mútua (MuSc-V2) para AC/AS *zero-shot*, que suporta flexivelmente modalidades única 2D/3D ou multimodais. Especificamente, nosso método começa por melhorar a representação 3D através do Agrupamento Iterativo de Pontos (IPG), que reduz falsos positivos provenientes de superfícies descontínuas. Em seguida, utilizamos a Agregação de Vizinhança por Similaridade com Múltiplos Graus (SNAMD) para fundir pistas de vizinhança 2D/3D em características de *patches* multiescala mais discriminativas para pontuação mútua. O núcleo compreende um Mecanismo de Pontuação Mútua (MSM) que permite que amostras dentro de cada modalidade atribuam pontuação umas às outras, e um Reforço de Anomalia Cross-modal (CAE) que funde as pontuações 2D e 3D para recuperar anomalias faltantes específicas da modalidade. Finalmente, a Repontuação com Vizinhança Restrita (RsCon) suprime a classificação falsa com base na similaridade com amostras mais representativas. Nossa estrutura funciona flexivelmente tanto no conjunto de dados completo quanto em subconjuntos menores com desempenho consistentemente robusto, garantindo adaptabilidade perfeita em diversas linhas de produtos. Auxiliado pela nova estrutura, o MuSc-V2 alcança melhorias significativas de desempenho: um ganho de +23,7% em AP no conjunto de dados MVTec 3D-AD e um aumento de +19,3% no conjunto de dados Eyecandies, superando os benchmarks *zero-shot* anteriores e até superando a maioria dos métodos *few-shot*. O código estará disponível em https://github.com/HUST-SLOW/MuSc-V2.

English

Zero-shot anomaly classification (AC) and segmentation (AS) methods aim to identify and outline defects without using any labeled samples. In this paper, we reveal a key property that is overlooked by existing methods: normal image patches across industrial products typically find many other similar patches, not only in 2D appearance but also in 3D shapes, while anomalies remain diverse and isolated. To explicitly leverage this discriminative property, we propose a Mutual Scoring framework (MuSc-V2) for zero-shot AC/AS, which flexibly supports single 2D/3D or multimodality. Specifically, our method begins by improving 3D representation through Iterative Point Grouping (IPG), which reduces false positives from discontinuous surfaces. Then we use Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) to fuse 2D/3D neighborhood cues into more discriminative multi-scale patch features for mutual scoring. The core comprises a Mutual Scoring Mechanism (MSM) that lets samples within each modality to assign score to each other, and Cross-modal Anomaly Enhancement (CAE) that fuses 2D and 3D scores to recover modality-specific missing anomalies. Finally, Re-scoring with Constrained Neighborhood (RsCon) suppresses false classification based on similarity to more representative samples. Our framework flexibly works on both the full dataset and smaller subsets with consistently robust performance, ensuring seamless adaptability across diverse product lines. In aid of the novel framework, MuSc-V2 achieves significant performance improvements: a +23.7% AP gain on the MVTec 3D-AD dataset and a +19.3% boost on the Eyecandies dataset, surpassing previous zero-shot benchmarks and even outperforming most few-shot methods. The code will be available at The code will be available at https://github.com/HUST-SLOW/MuSc-V2{https://github.com/HUST-SLOW/MuSc-V2}.