TALON : Apprentissage Adaptatif en Temps de Test pour la Découverte de Catégories à la Volée

TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

March 9, 2026

Auteurs: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li

cs.AI

Résumé

La découverte de catégories à la volée (OCD) vise à reconnaître les catégories connues tout en découvrant simultanément de nouvelles catégories à partir d'un flux non étiqueté en ligne, en utilisant un modèle entraîné uniquement sur des données étiquetées. Les approches existantes figent l'extracteur de caractéristiques entraîné hors ligne et emploient un cadre basé sur le hachage qui quantifie les caractéristiques en codes binaires comme prototypes de classe. Cependant, découvrir de nouvelles catégories avec une base de connaissances fixe est contre-intuitif, car le potentiel d'apprentissage des données entrantes est entièrement négligé. De plus, la quantification des caractéristiques introduit une perte d'information, diminue l'expressivité représentationnelle et amplifie la variance intra-classe. Elle entraîne souvent une explosion des catégories, où une seule classe est fragmentée en plusieurs pseudo-classes. Pour surmonter ces limitations, nous proposons un cadre d'adaptation en phase de test qui permet l'apprentissage par la découverte. Il intègre deux stratégies complémentaires : une mise à jour de prototype sensible à la sémantique et une mise à jour stable de l'encodeur en phase de test. La première affine dynamiquement les prototypes de classe pour améliorer la classification, tandis que la seconde intègre directement les nouvelles informations dans l'espace des paramètres. Ensemble, ces composants permettent au modèle d'étendre continuellement sa base de connaissances avec les échantillons nouvellement rencontrés. Par ailleurs, nous introduisons un calibrage des logits tenant compte de la marge lors de l'étape hors ligne pour élargir les marges inter-classes et améliorer la compacité intra-classe, réservant ainsi un espace d'incorporation pour la future découverte de classes. Les expériences sur les benchmarks OCD standard démontrent que notre méthode surpasse substantiellement les approches état de l'art existantes basées sur le hachage, produisant des améliorations notables de la précision sur les nouvelles classes et atténuant efficacement l'explosion des catégories. Le code est publiquement disponible à l'adresse blue{https://github.com/ynanwu/TALON}.

English

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.