MuSc-V2: Нулевое многомодальное обнаружение и сегментация промышленных аномалий с взаимной оценкой неразмеченных образцов

MuSc-V2: Zero-Shot Multimodal Industrial Anomaly Classification and Segmentation with Mutual Scoring of Unlabeled Samples

November 13, 2025

Авторы: Xurui Li, Feng Xue, Yu Zhou

cs.AI

Аннотация

Методы классификации аномалий (AC) и сегментации аномалий (AS) с нулевым разгоном (zero-shot) ставят целью выявление и контурирование дефектов без использования размеченных образцов. В данной статье мы раскрываем ключевое свойство, которое упускается существующими методами: патчи нормальных изображений промышленных изделий обычно находят множество других схожих патчей не только по 2D-внешнему виду, но и по 3D-форме, в то время как аномалии остаются разнородными и изолированными. Для явного использования этого дискриминативного свойства мы предлагаем фреймворк Mutual Scoring (MuSc-V2) для zero-shot AC/AS, который гибко поддерживает работу с одиночными 2D/3D данными или мультимодальность. Конкретно наш метод начинается с улучшения 3D-представления через Итеративную Группировку Точки (IPG), что снижает ложные срабатывания от разрывов поверхностей. Затем мы используем Аггрегацию Соседства по Сходству с Множественными Степенями (SNAMD) для объединения 2D/3D признаков соседства в более дискриминативные многомасштабные признаки патчей для взаимного оценивания. Ядро системы составляет Механизм Взаимного Оценивания (MSM), который позволяет образцам внутри каждой модальности назначать оценки друг другу, и Кросс-модальное Усиление Аномалий (CAE), которое объединяет 2D и 3D оценки для восстановления пропущенных аномалий, специфичных для модальности. Наконец, Повторное Оценивание с Ограниченным Соседством (RsCon) подавляет ложную классификацию на основе сходства с более репрезентативными образцами. Наш фреймворк гибко работает как с полным набором данных, так и с малыми подвыборками, демонстрируя стабильно robustную производительность и обеспечивая беспрепятственную адаптируемость к различным производственным линиям. Благодаря новой архитектуре MuSc-V2 достигает значительного улучшения производительности: прирост +23.7% AP на наборе данных MVTec 3D-AD и увеличение на +19.3% на наборе данных Eyecandies, превосходя предыдущие zero-shot ориентиры и даже опережая большинство few-shot методов. Код будет доступен по адресу https://github.com/HUST-SLOW/MuSc-V2.

English

Zero-shot anomaly classification (AC) and segmentation (AS) methods aim to identify and outline defects without using any labeled samples. In this paper, we reveal a key property that is overlooked by existing methods: normal image patches across industrial products typically find many other similar patches, not only in 2D appearance but also in 3D shapes, while anomalies remain diverse and isolated. To explicitly leverage this discriminative property, we propose a Mutual Scoring framework (MuSc-V2) for zero-shot AC/AS, which flexibly supports single 2D/3D or multimodality. Specifically, our method begins by improving 3D representation through Iterative Point Grouping (IPG), which reduces false positives from discontinuous surfaces. Then we use Similarity Neighborhood Aggregation with Multi-Degrees (SNAMD) to fuse 2D/3D neighborhood cues into more discriminative multi-scale patch features for mutual scoring. The core comprises a Mutual Scoring Mechanism (MSM) that lets samples within each modality to assign score to each other, and Cross-modal Anomaly Enhancement (CAE) that fuses 2D and 3D scores to recover modality-specific missing anomalies. Finally, Re-scoring with Constrained Neighborhood (RsCon) suppresses false classification based on similarity to more representative samples. Our framework flexibly works on both the full dataset and smaller subsets with consistently robust performance, ensuring seamless adaptability across diverse product lines. In aid of the novel framework, MuSc-V2 achieves significant performance improvements: a +23.7% AP gain on the MVTec 3D-AD dataset and a +19.3% boost on the Eyecandies dataset, surpassing previous zero-shot benchmarks and even outperforming most few-shot methods. The code will be available at The code will be available at https://github.com/HUST-SLOW/MuSc-V2{https://github.com/HUST-SLOW/MuSc-V2}.