一度の蒸留で生涯適応：継続的テスト時適応のためのデータセット蒸留の探求

要旨

継続的テスト時間適応（CTTA）は、ラベル付きデータなしでオンライン適応を行うことにより、変化するターゲットドメイン下でモデルの性能を維持することを目的としている。しかし、実際の展開では、プライバシーやライセンスの制約によりソースデータセットを保持できないことが多く、純粋にソースフリーなCTTA手法は長期的な分布シフトの下で不安定になりやすく、自己学習エラーの複合と壊滅的忘却を引き起こす。我々はDO-ALL（Distill Once, Adapt Life-Long）を提案する。これは、データセット蒸留（DD）を介してコンパクトでプライバシーに配慮した形でソース情報を再活用するプラグアンドプレイフレームワークである。デプロイ前に、DO-ALLはDDを実行し、ソース分布を要約する小さな合成蒸留アンカーセットを生成する。適応中、各ターゲットサンプルは最も意味的に一致するアンカーとマッチングされ、ソースリプレイ、表現アライメント、および多様体平滑化正則化を介して、様々なCTTAに安定した参照を提供する。DO-ALLは既存のCTTAアルゴリズムにシームレスに統合でき、CIFAR100-C、ImageNet-C、CCCベンチマークにおいて長期的なロバスト性を一貫して向上させる。これは、生のソースデータを保持せずに安定した継続的適応を可能にするためにDDを活用する可能性を示している。コードはhttps://github.com/blue-531/DOALLで公開されている。

English

Continual Test-Time Adaptation (CTTA) aims to maintain model performance under evolving target domains by adapting online without labeled data. However, practical deployments often cannot retain the source dataset due to privacy or licensing constraints, and purely source-free CTTA methods tend to become unstable under long-term distribution shift, suffering from compounding self-training errors and catastrophic forgetting. We introduce DO-ALL (Distill Once, Adapt Life-Long), a plug-and-play framework that revisits source information in a compact and privacy-conscious form via Dataset Distillation (DD). Before deployment, DO-ALL performs DD to produce a small set of synthetic distilled anchors that summarize the source distribution. During adaptation, each target sample is matched with its most semantically aligned anchor, which provides a stable reference for various CTTA via source replay, representation alignment, and manifold-smoothing regularization. DO-ALL can be seamlessly integrated into existing CTTA algorithms, consistently improving long-term robustness across CIFAR100-C, ImageNet-C, and the CCC benchmark. This demonstrates the potential of leveraging DD to enable stable and continuous adaptation without retaining raw source data. The code is available at https://github.com/blue-531/DOALL.