Destilar uma vez, adaptar-se por toda a vida: explorando a destilação de conjuntos de dados para adaptação contínua em tempo de teste

Resumo

A Adaptação Contínua em Tempo de Teste (CTTA) visa manter o desempenho do modelo sob domínios-alvo em evolução, adaptando-se online sem dados rotulados. No entanto, implementações práticas frequentemente não conseguem reter o conjunto de dados de origem devido a restrições de privacidade ou licenciamento, e métodos CTTA puramente livres de fonte tendem a se tornar instáveis sob mudanças de distribuição de longo prazo, sofrendo de erros compostos de auto-treinamento e esquecimento catastrófico. Apresentamos o DO-ALL (Destilar Uma Vez, Adaptar por Toda a Vida), um framework plug-and-play que revisita informações da fonte de forma compacta e consciente da privacidade por meio da Destilação de Conjunto de Dados (DD). Antes da implantação, o DO-ALL realiza DD para produzir um pequeno conjunto de âncoras destiladas sintéticas que resumem a distribuição da fonte. Durante a adaptação, cada amostra-alvo é combinada com sua âncora semanticamente mais alinhada, que fornece uma referência estável para várias CTTA por meio de repetição da fonte, alinhamento de representações e regularização de suavização de variedade. O DO-ALL pode ser integrado perfeitamente em algoritmos CTTA existentes, melhorando consistentemente a robustez de longo prazo nos benchmarks CIFAR100-C, ImageNet-C e CCC. Isso demonstra o potencial de aproveitar a DD para permitir uma adaptação estável e contínua sem reter dados brutos da fonte. O código está disponível em https://github.com/blue-531/DOALL.

English

Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.