TALON: 실시간 범주 발견을 위한 테스트 타임 적응형 학습

초록

온라인 범주 발견(OCD)은 레이블이 지정된 데이터로만 훈련된 모델을 사용하여, 레이블이 지정되지 않은 온라인 스트림에서 알려진 범주를 인식하는 동시에 새로운 범주를 발견하는 것을 목표로 합니다. 기존 접근법은 오프라인에서 훈련된 특징 추출기를 고정하고, 특징을 클래스 프로토타입인 이진 코드로 양자화하는 해시 기반 프레임워크를 사용합니다. 그러나 고정된 지식 기반으로 새로운 범주를 발견하는 것은 직관에 반대됩니다. 들어오는 데이터의 학습 잠재력이 완전히 무시되기 때문입니다. 또한, 특징 양자화는 정보 손실을 초래하고 표현력을 저하시키며 클래스 내 분산을 증폭시킵니다. 이는 종종 단일 클래스가 여러 가짜 클래스로 분할되는 '범주 폭발'을 초래합니다. 이러한 한계를 극복하기 위해 우리는 발견을 통한 학습을 가능하게 하는 테스트 시간 적응 프레임워크를 제안합니다. 여기에는 의미 인식 프로토타입 업데이트와 안정적인 테스트 시간 인코더 업데이트라는 두 가지 상호 보완적인 전략이 포함됩니다. 전자는 분류 성능을 향상시키기 위해 클래스 프로토타입을 동적으로 정제하는 반면, 후자는 새로운 정보를 매개변수 공간에 직접 통합합니다. 이러한 구성 요소들이 함께 작동하여 모델은 새로 접하는 샘플로 지식 기반을 지속적으로 확장할 수 있습니다. 더 나아가, 우리는 오프라인 단계에서 마진 인식 로짓 보정을 도입하여 클래스 간 마진을 확대하고 클래스 내 밀집도를 향상시켜 향후 클래스 발견을 위한 임베딩 공간을 확보합니다. 표준 OCD 벤치마크에서의 실험 결과, 우리의 방법이 기존 해시 기반 최신 접근법을 크게 능가하며, 새로운 클래스 정확도에서 현저한 향상을 보이고 범주 폭발을 효과적으로 완화함을 입증했습니다. 코드는 blue{https://github.com/ynanwu/TALON}에서 공개되어 있습니다.

English

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at blue{https://github.com/ynanwu/TALON}.

TALON: 실시간 범주 발견을 위한 테스트 타임 적응형 학습

TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

초록

Support