Однократная дистилляция и пожизненная адаптация: исследование дистилляции наборов данных для непрерывной адаптации во время тестирования

Аннотация

Непрерывная адаптация во время тестирования (CTTA) направлена на поддержание производительности модели в условиях эволюционирующих целевых доменов за счет онлайн-адаптации без использования размеченных данных. Однако на практике развертывание часто не позволяет сохранить исходный набор данных из-за ограничений конфиденциальности или лицензирования, а чисто безисточниковые методы CTTA склонны к нестабильности при долгосрочных сдвигах распределения, страдая от накопления ошибок самообучения и катастрофического забывания. Мы представляем DO-ALL (Distill Once, Adapt Life-Long) — встраиваемый фреймворк, который восстанавливает информацию об исходных данных в компактной и конфиденциальной форме с помощью дистилляции набора данных (DD). Перед развертыванием DO-ALL выполняет DD для создания небольшого набора синтетических дистиллированных якорей, обобщающих исходное распределение. В процессе адаптации каждый целевой образец сопоставляется с наиболее семантически близким якорем, который обеспечивает стабильную основу для различных подходов CTTA через воспроизведение исходных данных, выравнивание представлений и регуляризацию сглаживания многообразия. DO-ALL может быть легко интегрирован в существующие алгоритмы CTTA, последовательно улучшая долгосрочную устойчивость на наборах данных CIFAR100-C, ImageNet-C и эталоне CCC. Это демонстрирует потенциал использования DD для обеспечения стабильной и непрерывной адаптации без сохранения исходных необработанных данных. Код доступен по адресу https://github.com/blue-531/DOALL.

English

Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.