ProtoGCD: Унифицированное и несмещённое обучение прототипов для обобщённого обнаружения категорий

ProtoGCD: Unified and Unbiased Prototype Learning for Generalized Category Discovery

April 2, 2025

Авторы: Shijie Ma, Fei Zhu, Xu-Yao Zhang, Cheng-Lin Liu

cs.AI

Аннотация

Обобщённое обнаружение категорий (Generalized Category Discovery, GCD) — это прагматичная, но недостаточно изученная задача, которая требует от моделей автоматической кластеризации и обнаружения новых категорий с использованием размеченных данных из старых классов. Основная сложность заключается в том, что неразмеченные данные содержат как старые, так и новые классы. Ранние подходы, основанные на псевдоразметке с использованием параметрических классификаторов, обрабатывали старые и новые классы раздельно, что приводило к дисбалансу в точности между ними. Современные методы, использующие контрастивное обучение, игнорируют потенциальные положительные примеры и не связаны с целью кластеризации, что приводит к смещённым представлениям и неоптимальным результатам. Для решения этих проблем мы предлагаем унифицированный и несмещённый фреймворк обучения на прототипах, названный ProtoGCD, в котором старые и новые классы моделируются с использованием совместных прототипов и единых целей обучения, что позволяет осуществлять унифицированное моделирование для старых и новых классов. В частности, мы предлагаем двухуровневый адаптивный механизм псевдоразметки для снижения эффекта подтверждающего смещения, а также два регуляризационных члена, которые совместно помогают обучать более подходящие представления для GCD. Кроме того, для практических целей мы разрабатываем критерий для оценки количества новых классов. Дополнительно мы расширяем ProtoGCD для обнаружения неизвестных выбросов, достигая унификации на уровне задачи. Комплексные эксперименты показывают, что ProtoGCD достигает наилучших результатов как на общих, так и на специализированных наборах данных. Код доступен по адресу https://github.com/mashijie1028/ProtoGCD.

English

Generalized category discovery (GCD) is a pragmatic but underexplored problem, which requires models to automatically cluster and discover novel categories by leveraging the labeled samples from old classes. The challenge is that unlabeled data contain both old and new classes. Early works leveraging pseudo-labeling with parametric classifiers handle old and new classes separately, which brings about imbalanced accuracy between them. Recent methods employing contrastive learning neglect potential positives and are decoupled from the clustering objective, leading to biased representations and sub-optimal results. To address these issues, we introduce a unified and unbiased prototype learning framework, namely ProtoGCD, wherein old and new classes are modeled with joint prototypes and unified learning objectives, {enabling unified modeling between old and new classes}. Specifically, we propose a dual-level adaptive pseudo-labeling mechanism to mitigate confirmation bias, together with two regularization terms to collectively help learn more suitable representations for GCD. Moreover, for practical considerations, we devise a criterion to estimate the number of new classes. Furthermore, we extend ProtoGCD to detect unseen outliers, achieving task-level unification. Comprehensive experiments show that ProtoGCD achieves state-of-the-art performance on both generic and fine-grained datasets. The code is available at https://github.com/mashijie1028/ProtoGCD.