TALON: Apprendimento Adattivo al Momento del Test per la Scoperta di Categorie in Tempo Reale

TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

March 9, 2026

Autori: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li

cs.AI

Abstract

La scoperta di categorie in tempo reale (OCD) mira a riconoscere categorie note scoprendo simultaneamente quelle nuove da un flusso online non etichettato, utilizzando un modello addestrato solo su dati etichettati. Gli approcci esistenti congelano l'estrattore di caratteristiche addestrato offline e impiegano un framework basato su hash che quantizza le caratteristiche in codici binari come prototipi di classe. Tuttavia, scoprire nuove categorie con una base di conoscenza fissa è controintuitivo, poiché il potenziale di apprendimento dei dati in arrivo viene completamente trascurato. Inoltre, la quantizzazione delle caratteristiche introduce una perdita di informazioni, riduce l'espressività rappresentativa e amplifica la varianza intra-classe. Spesso risulta in un'esplosione di categorie, dove una singola classe viene frammentata in multiple pseudo-classi. Per superare queste limitazioni, proponiamo un framework di adattamento al test-time che consente l'apprendimento attraverso la scoperta. Esso incorpora due strategie complementari: un aggiornamento dinamico dei prototipi di classe consapevole della semantica e un aggiornamento stabile dell'encoder al test-time. La prima affina dinamicamente i prototipi di classe per migliorare la classificazione, mentre la seconda integra le nuove informazioni direttamente nello spazio dei parametri. Insieme, questi componenti permettono al modello di espandere continuamente la propria base di conoscenza con i campioni incontrati di recente. Inoltre, introduciamo una calibrazione dei logit consapevole del margine nella fase offline per ampliare i margini inter-classe e migliorare la compattezza intra-classe, riservando così spazio di embedding per la futura scoperta di classi. Esperimenti su benchmark OCD standard dimostrano che il nostro metodo supera sostanzialmente gli approcci all'avanguardia basati su hash, producendo miglioramenti significativi nell'accuratezza per le nuove classi e mitigando efficacemente l'esplosione di categorie. Il codice è pubblicamente disponibile all'indirizzo \url{https://github.com/ynanwu/TALON}.

English

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.