TALON: Testzeit-adaptive Lernmethode für die dynamische Kategorienentdeckung

TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

March 9, 2026

Autoren: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li

cs.AI

Zusammenfassung

On-the-fly Category Discovery (OCD) zielt darauf ab, bekannte Kategorien zu erkennen und gleichzeitig neue aus einem ungelabelten Online-Datenstrom zu entdecken, wobei ein Modell verwendet wird, das nur auf gelabelten Daten trainiert wurde. Bestehende Ansätze frieren den offline trainierten Merkmalsextraktor ein und verwenden ein hash-basiertes Framework, das Merkmale in binäre Codes als Klassenprototypen quantisiert. Die Entdeckung neuer Kategorien mit einer festen Wissensbasis ist jedoch kontraintuitiv, da das Lernpotenzial der eingehenden Daten vollständig vernachlässigt wird. Zusätzlich führt die Merkmalsquantisierung zu Informationsverlust, verringert die Darstellungsfähigkeit und verstärkt die Varianz innerhalb einer Klasse. Dies führt häufig zu einer Kategorie-Explosion, bei der eine einzelne Klasse in mehrere Pseudoklassen fragmentiert wird. Um diese Einschränkungen zu überwinden, schlagen wir ein Test-Time-Adaptation-Framework vor, das Lernen durch Entdeckung ermöglicht. Es integriert zwei komplementäre Strategien: ein semantikbewusstes Prototypen-Update und ein stabiles Encoder-Update zur Testzeit. Ersteres verfeinert Klassenprototypen dynamisch zur Verbesserung der Klassifikation, während Letzteres neue Informationen direkt in den Parameterraum integriert. Gemeinsam ermöglichen diese Komponenten dem Modell, seine Wissensbasis kontinuierlich mit neu auftretenden Stichproben zu erweitern. Darüber hinaus führen wir in der Offline-Phase eine margebewusste Logit-Kalibrierung ein, um die Abstände zwischen den Klassen zu vergrößern und die Kompaktheit innerhalb der Klassen zu verbessern und so Embedding-Raum für zukünftige Klassenentdeckungen freizuhalten. Experimente auf standardisierten OCD-Benchmarks zeigen, dass unsere Methode hash-basierte State-of-the-Art-Ansätze erheblich übertrifft und bemerkenswerte Verbesserungen bei der Genauigkeit für neue Klassen erzielt, während sie die Kategorie-Explosion wirksam eindämmt. Der Code ist öffentlich verfügbar unter \url{https://github.com/ynanwu/TALON}.

English

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.