TALON: テスト時適応型学習によるオンザフライカテゴリ発見

TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

March 9, 2026

著者: Yanan Wu, Yuhan Yan, Tailai Chen, Zhixiang Chi, ZiZhang Wu, Yi Jin, Yang Wang, Zhenbo Li

cs.AI

要旨

オンザフライカテゴリ発見（OCD）は、ラベル付きデータのみで学習されたモデルを用いて、ラベルなしのオンラインストリームから既知のカテゴリを認識すると同時に新規のカテゴリを発見することを目的とする。既存手法では、オフラインで学習した特徴抽出器を固定し、特徴量をクラスプロトタイプとしてバイナリコードに量子化するハッシュベースのフレームワークを採用している。しかし、固定された知識ベースで新規カテゴリを発見することは直観に反する。なぜなら、入力データの学習可能性が完全に無視されるからである。さらに、特徴量子化は情報損失を引き起こし、表現力の低下やクラス内分散の増大を招く。これにより、単一のクラスが複数の擬似クラスに分割される「カテゴリ爆発」が頻繁に生じる。これらの限界を克服するため、本論文では「発見を通じた学習」を可能にするテスト時適応フレームワークを提案する。このフレームワークは、意味情報を考慮したプロトタイプ更新と、安定したテスト時エンコーダ更新という二つの相補的な戦略を組み込んでいる。前者は分類性能を向上させるためにクラスプロトタイプを動的に洗練し、後者は新規情報を直接パラメータ空間に統合する。これらの構成要素により、モデルは新たに遭遇するサンプルを用いて知識ベースを継続的に拡張できる。さらに、オフライン学習段階においてマージン考慮型ロジット較正を導入し、クラス間マージンを拡大するとともにクラス内のコンパクト性を向上させることで、将来のクラス発見のための埋め込み空間を確保する。標準的なOCDベンチマークによる実験により、提案手法が既存のハッシュベースの最先端手法を大幅に上回り、新規クラス認識精度の顕著な改善とカテゴリ爆発の効果的な抑制を実現することを示す。コードは blue{https://github.com/ynanwu/TALON} で公開されている。

English

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.