TALON: Aprendizagem Adaptativa em Tempo de Teste para Descoberta de Categorias em Tempo Real
TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery
March 9, 2026
Autores: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li
cs.AI
Resumo
A descoberta de categorias em tempo real (OCD) visa reconhecer categorias conhecidas enquanto descobre simultaneamente novas categorias a partir de um fluxo online não rotulado, utilizando um modelo treinado apenas com dados rotulados. As abordagens existentes congelam o extrator de características treinado offline e empregam uma estrutura baseada em *hash* que quantiza as características em códigos binários como protótipos de classe. No entanto, descobrir novas categorias com uma base de conhecimento fixa é contra-intuitivo, uma vez que o potencial de aprendizagem dos dados recebidos é completamente negligenciado. Além disso, a quantização de características introduz perda de informação, diminui a expressividade representacional e amplifica a variância intraclasse. Muitas vezes, resulta em explosão de categorias, onde uma única classe é fragmentada em múltiplas pseudo-classes. Para superar essas limitações, propomos uma estrutura de adaptação em tempo de teste que permite a aprendizagem por meio da descoberta. Ela incorpora duas estratégias complementares: uma atualização de protótipo semântica e uma atualização estável do codificador em tempo de teste. A primeira refina dinamicamente os protótipos de classe para melhorar a classificação, enquanto a segunda integra novas informações diretamente no espaço de parâmetros. Juntas, essas componentes permitem que o modelo expanda continuamente sua base de conhecimento com amostras recém-encontradas. Adicionalmente, introduzimos uma calibração de *logit* com margem na fase offline para ampliar as margens interclasse e melhorar a compactação intraclasse, reservando assim espaço de incorporação para a futura descoberta de classes. Experimentos em benchmarks padrão de OCD demonstram que nosso método supera substancialmente as abordagens state-of-the-art baseadas em *hash*, produzindo melhorias notáveis na precisão de novas classes e mitigando efetivamente a explosão de categorias. O código está publicamente disponível em \url{https://github.com/ynanwu/TALON}.
English
On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.