TALON: Адаптивное обучение в режиме тестирования для оперативного обнаружения категорий
TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery
March 9, 2026
Авторы: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li
cs.AI
Аннотация
Динамическое обнаружение категорий (OCD) ставит целью распознавание известных категорий при одновременном выявлении новых из немаркированного онлайн-потока данных, используя модель, обученную только на размеченных данных. Существующие подходы замораживают экстрактор признаков, обученный офлайн, и применяют хэш-ориентированную архитектуру, которая квантует признаки в бинарные коды в качестве прототипов классов. Однако обнаружение новых категорий с фиксированной базой знаний противоречит интуиции, поскольку потенциал обучения входящих данных полностью игнорируется. Кроме того, квантование признаков приводит к потере информации, снижает выразительность представлений и усиливает внутриклассовую дисперсию. Это часто выливается в "взрыв категорий", когда единый класс дробится на множество псевдоклассов.
Для преодоления этих ограничений мы предлагаем фреймворк адаптации на этапе тестирования, который позволяет обучаться через обнаружение. Он включает две взаимодополняющие стратегии: семантически осознанное обновление прототипов и стабильное обновление энкодера во время тестирования. Первая динамически уточняет прототипы классов для улучшения классификации, тогда вторая интегрирует новую информацию непосредственно в пространство параметров. Вместе эти компоненты позволяют модели непрерывно расширять свою базу знаний за счет вновь поступающих образцов.
Кроме того, мы вводим калибровку логитов с учетом зазора на офлайн-этапе, чтобы увеличить межклассовые расстояния и улучшить внутриклассовую компактность, тем самым резервируя пространство векторов для будущего обнаружения классов. Эксперименты на стандартных бенчмарках OCD демонстрируют, что наш метод существенно превосходит существующие хэш-ориентированные передовые подходы, показывая значительное улучшение точности для новых классов и эффективно mitigating взрыв категорий. Код общедоступен по адресу: \url{https://github.com/ynanwu/TALON}.
English
On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.