勾配を用いない適応：アフィン統計量輸送とその証明が示すもの

要旨

テスト時適応（TTA）は通常、推論時にモデルパラメータを更新できることを前提とする。この前提は、推論専用アクセラレータ、凍結モデルやサードパーティ製モデル、メモリ制約のある配備環境では制約的であり、また標準的なBatchNormベースのTTA構成は、BatchNormを持たないアーキテクチャでは機能しなくなることもある。本研究では、学習済みモデルを凍結したまま適応する問題を扱う。我々は、勾配フリー手法であるCASTERを導入する。CASTERは、ソースクラスの統計量を判別的部分空間に格納し、ターゲットバッチのモーメントからクラス共通のアフィン変換を推定し、分類前にソースクラス分布を解析的に輸送する。CASTERは、逆伝播、オプティマイザ状態、保存されたソース特徴バンクを一切必要としない。4つのバックボーンと7つのデータセットにわたる28のバックボーン・データセット設定のうち27設定で、同一の凍結特徴に基づくk-NNを上回り、その際の保持状態量の中央値は18分の1である。ただし、アフィン輸送は常に信頼できるとは限らない。1000クラスに対して1バッチに64サンプルしか含まれないImageNet-Cでは、無条件輸送によりtop-1精度が21.2ポイント低下する。そこで我々は、経験的な残差-マージン輸送可能性判定を導入する。307の評価セル全体では、10ポイント超の損失を生じるすべての輸送について判定値が3.9を超えるが、無害な領域と破壊的な領域は完全には分離されない。ゲーティングにより、無条件輸送の平均-3.35ポイントという効果は+1.69ポイントの利得に変換され、広い閾値範囲にわたって性能は最良の閾値との差が0.3ポイント以内に収まる。最後に、この判定はメカニズム特異的であることを示す。Tentに適用した場合、更新のわずか4.3%しか受け入れず、Tentが本来得られる利得の0.6%しか維持しない。これらの結果は、CASTERを凍結モデル配備のための軽量適応メカニズムとして位置づけるとともに、その安全性シグナルが有益である場合とそうでない場合を明確に説明するものである。

English

Test-time adaptation (TTA) typically assumes that model parameters can be updated at inference time. This assumption is restrictive for inference-only accelerators, frozen or third-party models, and memory-constrained deployments, and standard BatchNorm-based TTA configurations may also become inactive on architectures without BatchNorm. We study adaptation when the learned model must remain frozen. We introduce CASTER, a gradient-free method that stores source class statistics in a discriminative subspace, estimates a class-shared affine transformation from target-batch moments, and analytically transports the source class distributions before classification. CASTER requires no backward pass, optimizer state, or stored source feature bank. Across four backbones and seven datasets, it outperforms k-NN on identical frozen features in 27 of 28 backbone-dataset settings while retaining a median of 18x less state. Affine transport is not always reliable. On ImageNet-C, where batches contain only 64 samples for 1000 classes, unconditional transport loses 21.2 top-1 points. We therefore introduce an empirical residual-to-margin transportability certificate. Across 307 evaluation cells, every transport losing more than 10 points has certificate value above 3.9, although benign and destructive regimes are not perfectly separated. Gating converts an average -3.35-point effect of unconditional transport into a +1.69-point gain, and performance remains within 0.3 points of the best threshold over a broad threshold range. Finally, we show that this certificate is mechanism-specific: when applied to Tent, it accepts only 4.3% of updates and preserves 0.6% of Tent's available gain. These results position CASTER as a lightweight adaptation mechanism for frozen-model deployment, together with an explicit account of when its safety signal is informative and when it is not.