TALON: Test-tijd Adaptief Leren voor On-the-Fly Categorie-ontdekking

TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

March 9, 2026

Auteurs: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li

cs.AI

Samenvatting

On-the-fly category discovery (OCD) heeft tot doel bekende categorieën te herkennen en tegelijkertijd nieuwe te ontdekken uit een ongelabelde online stroom, waarbij gebruik wordt gemaakt van een model dat uitsluitend op gelabelde gegevens is getraind. Bestaande benaderingen bevriezen de offline getrainde kenmerkextractor en gebruiken een op hashing gebaseerd framework dat kenmerken kwantiseert naar binaire codes als klasseprototypen. Het ontdekken van nieuwe categorieën met een vaste kennisbasis is echter contra-intuïtief, omdat het leervermogen van inkomende gegevens volledig wordt verwaarloosd. Bovendien introduceert kenmerkkwantisatie informatieverlies, vermindert het de representatie-expressiviteit en vergroot het de variantie binnen klassen. Het resulteert vaak in categorie-explosie, waarbij een enkele klasse wordt gefragmenteerd in meerdere pseudo-klassen. Om deze beperkingen te overwinnen, stellen we een testtijd-adaptatieframework voor dat leren door ontdekking mogelijk maakt. Het bevat twee complementaire strategieën: een semantisch-bewuste prototype-update en een stabiele testtijd-encoder-update. De eerste verfijnt klasseprototypen dynamisch om classificatie te verbeteren, terwijl de laatste nieuwe informatie direct integreert in de parameterruimte. Samen stellen deze componenten het model in staat om zijn kennisbasis continu uit te breiden met nieuw aangetroffen voorbeelden. Verder introduceren we een marge-bewuste logit-kalibratie in de offline fase om de marges tussen klassen te vergroten en de compactheid binnen klassen te verbeteren, waardoor embedded ruimte wordt gereserveerd voor toekomstige klasseontdekking. Experimenten op standaard OCD benchmarks tonen aan dat onze methode de bestaande op hashing gebaseerde state-of-the-art benaderingen aanzienlijk overtreft, met aanzienlijke verbeteringen in de nauwkeurigheid voor nieuwe klassen en een effectieve beperking van categorie-explosie. De code is openbaar beschikbaar op blue{https://github.com/ynanwu/TALON}.

English

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.