C3D-AD: В направлении непрерывного 3D-обнаружения аномалий с использованием ядерного внимания и обучаемого советника

C3D-AD: Toward Continual 3D Anomaly Detection via Kernel Attention with Learnable Advisor

August 2, 2025

Авторы: Haoquan Lu, Hanzhe Liang, Jie Zhang, Chenxi Hu, Jinbao Wang, Can Gao

cs.AI

Аннотация

3D-обнаружение аномалий (AD) продемонстрировало значительный потенциал в выявлении дефектов высокоточных промышленных изделий. Однако существующие методы обычно обучаются для конкретных классов и не способны адаптироваться к новым появляющимся классам. В данном исследовании мы предложили фреймворк непрерывного обучения под названием Continual 3D Anomaly Detection (C3D-AD), который не только позволяет изучать обобщенные представления для многоклассовых облаков точек, но и справляется с новыми классами, появляющимися со временем. В частности, в модуле извлечения признаков для эффективного извлечения обобщенных локальных признаков из разнообразных типов изделий различных задач вводится слой Kernel Attention с Random Feature Layer (KAL), который нормализует пространство признаков. Затем для корректного и непрерывного восстановления данных предлагается механизм Kernel Attention с Learnable Advisor (KAA), который изучает информацию из новых категорий, одновременно отбрасывая избыточную старую информацию как в кодировщике, так и в декодере. Наконец, для сохранения согласованности представлений между задачами предлагается модуль Reconstruction with Parameter Perturbation (RPP), в котором разработана функция потерь для повторного воспроизведения представлений, что гарантирует запоминание моделью информации о предыдущих категориях и возвращение адаптивных к категориям представлений. Эксперименты на трех публичных наборах данных подтверждают эффективность предложенного метода, достигая средних показателей 66,4%, 83,1% и 63,4% AUROC на Real3D-AD, Anomaly-ShapeNet и MulSen-AD соответственно.

English

3D Anomaly Detection (AD) has shown great potential in detecting anomalies or defects of high-precision industrial products. However, existing methods are typically trained in a class-specific manner and also lack the capability of learning from emerging classes. In this study, we proposed a continual learning framework named Continual 3D Anomaly Detection (C3D-AD), which can not only learn generalized representations for multi-class point clouds but also handle new classes emerging over time.Specifically, in the feature extraction module, to extract generalized local features from diverse product types of different tasks efficiently, Kernel Attention with random feature Layer (KAL) is introduced, which normalizes the feature space. Then, to reconstruct data correctly and continually, an efficient Kernel Attention with learnable Advisor (KAA) mechanism is proposed, which learns the information from new categories while discarding redundant old information within both the encoder and decoder. Finally, to keep the representation consistency over tasks, a Reconstruction with Parameter Perturbation (RPP) module is proposed by designing a representation rehearsal loss function, which ensures that the model remembers previous category information and returns category-adaptive representation.Extensive experiments on three public datasets demonstrate the effectiveness of the proposed method, achieving an average performance of 66.4%, 83.1%, and 63.4% AUROC on Real3D-AD, Anomaly-ShapeNet, and MulSen-AD, respectively.