한 번 증류하고 평생 적응: 지속적 테스트 타임 적응을 위한 데이터셋 증류 탐구

초록

지속적 테스트 시간 적응(CTTA)은 레이블 없이 온라인으로 적응함으로써 진화하는 타겟 도메인에서 모델 성능을 유지하는 것을 목표로 한다. 그러나 실제 배포 환경에서는 개인정보 보호나 라이선스 제약으로 인해 소스 데이터셋을 보존하지 못하는 경우가 많으며, 순수하게 소스 프리(Source-Free) 방식의 CTTA 방법은 장기적인 분포 변화 아래에서 불안정해져서 자기 학습 오류의 누적과 파국적 망각을 겪게 된다. 본 연구에서는 DO-ALL(Distill Once, Adapt Life-Long)을 제안한다. 이는 플러그 앤 플레이 방식의 프레임워크로, 데이터셋 증류(DD)를 통해 소스 정보를 소형화되고 개인정보 친화적인 형태로 재활용한다. 배포 전, DO-ALL은 DD를 수행하여 소스 분포를 요약하는 소량의 합성 증류 앵커(Distilled Anchors)를 생성한다. 적응 과정에서는 각 타겟 샘플을 의미적으로 가장 정렬된 앵커와 매칭하며, 이 앵커는 소스 재생, 표현 정렬, 매니폴드 평활화 정규화를 통해 다양한 CTTA 방법에 안정적인 기준점을 제공한다. DO-ALL은 기존 CTTA 알고리즘에 손쉽게 통합될 수 있으며, CIFAR100-C, ImageNet-C, CCC 벤치마크에서 장기적 강건성을 지속적으로 향상시킨다. 이는 원시 소스 데이터를 유지하지 않고도 DD를 활용하여 안정적이고 지속적인 적응을 가능하게 하는 잠재력을 입증한다. 코드는 https://github.com/blue-531/DOALL에서 확인할 수 있다.

English

Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.