Distiller une fois, adapter à vie : exploration de la distillation d'ensembles de données pour l'adaptation continue en phase de test

Résumé

L'adaptation continue en phase de test (CTTA) vise à maintenir les performances du modèle sous des domaines cibles en évolution en s'adaptant en ligne sans données étiquetées. Cependant, les déploiements pratiques ne peuvent souvent pas conserver l'ensemble de données source en raison de contraintes de confidentialité ou de licence, et les méthodes CTTA purement sans source ont tendance à devenir instables sous un changement de distribution à long terme, souffrant d'erreurs d'auto-apprentissage cumulatives et d'oubli catastrophique. Nous introduisons DO-ALL (Distill Once, Adapt Life-Long), un cadre plug-and-play qui revisite les informations source sous une forme compacte et respectueuse de la vie privée via la distillation d'ensembles de données (DD). Avant le déploiement, DO-ALL effectue une DD pour produire un petit ensemble d'ancres distillées synthétiques qui résument la distribution source. Pendant l'adaptation, chaque échantillon cible est associé à son ancre la plus alignée sémantiquement, ce qui fournit une référence stable pour diverses CTTA via la relecture source, l'alignement des représentations et la régularisation par lissage de variété. DO-ALL peut être intégré de manière transparente dans les algorithmes CTTA existants, améliorant constamment la robustesse à long terme sur CIFAR100-C, ImageNet-C et le benchmark CCC. Cela démontre le potentiel de l'exploitation de la DD pour permettre une adaptation stable et continue sans conserver les données source brutes. Le code est disponible sur https://github.com/blue-531/DOALL.

English

Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.