Einmal destillieren, lebenslang anpassen: Erforschung von Datensatzdestillation für kontinuierliche Testzeit-Anpassung

Zusammenfassung

Kontinuierliche Testzeit-Anpassung (CTTA) zielt darauf ab, die Modellleistung unter sich verändernden Zieldomänen durch Online-Adaption ohne beschriftete Daten aufrechtzuerhalten. In der Praxis können die Quelldatensätze aufgrund von Datenschutz- oder Lizenzbeschränkungen jedoch oft nicht vorgehalten werden, und rein quellfreie CTTA-Methoden werden bei langfristigen Verteilungsverschiebungen instabil, da sie unter sich verstärkenden Selbsttrainingsfehlern und katastrophalem Vergessen leiden. Wir stellen DO-ALL (Distill Once, Adapt Life-Long) vor, ein Plug-and-Play-Framework, das Quellinformationen in einer kompakten und datenschutzbewussten Form mithilfe von Datensatzdestillation (DD) wieder aufgreift. Vor dem Einsatz führt DO-ALL DD durch, um eine kleine Menge synthetischer destillierter Anker zu erzeugen, die die Quellverteilung zusammenfassen. Während der Anpassung wird jedes Zielmuster mit seinem semantisch am besten passenden Anker abgeglichen, der eine stabile Referenz für verschiedene CTTA-Verfahren durch Quellwiederholung, Repräsentationsabgleich und Manifold-Glättungsregularisierung bietet. DO-ALL lässt sich nahtlos in bestehende CTTA-Algorithmen integrieren und verbessert durchgängig die langfristige Robustheit auf CIFAR100-C, ImageNet-C und dem CCC-Benchmark. Dies zeigt das Potenzial der Nutzung von DD, um stabile und kontinuierliche Anpassung ohne Vorhalten roher Quelldaten zu ermöglichen. Der Code ist verfügbar unter https://github.com/blue-531/DOALL.

English

Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.