기울기 없이 적응하기: 아핀 통계량 수송과 그 증명서가 알려줄 수 있는 것

초록

테스트 시간 적응(TTA)은 일반적으로 추론 시점에 모델 파라미터를 업데이트할 수 있다고 가정한다. 이러한 가정은 추론 전용 가속기, 동결(frozen) 또는 제3자(third-party) 모델, 메모리 제약이 있는 배포 환경에서는 제약적이며, 표준 BatchNorm 기반 TTA 설정은 BatchNorm이 없는 아키텍처에서는 비활성화될 수도 있다. 우리는 학습된 모델이 동결된 상태로 유지되어야 하는 상황에서의 적응을 연구한다. 본 논문에서는 판별 부분공간에 소스 클래스 통계량을 저장하고, 타깃 배치 모멘트로부터 클래스 공통 아핀 변환을 추정한 다음, 분류 전에 소스 클래스 분포를 해석적으로 이동시키는 그래디언트-프리(gradient-free) 방법인 CASTER를 제안한다. CASTER는 역전파, 옵티마이저 상태, 또는 저장된 소스 특징 뱅크를 필요로 하지 않는다. 네 개의 백본과 일곱 개의 데이터셋에 걸쳐, CASTER는 동일한 동결 특징에 기반한 k-NN보다 28개의 백본-데이터셋 설정 중 27개에서 우수한 성능을 보였으며, 상태는 중앙값 기준 18배 적게 유지했다. 아핀 이동이 항상 신뢰할 수 있는 것은 아니다. 1000개 클래스에 대해 배치당 64개 샘플만 포함하는 ImageNet-C에서 무조건적 이동은 top-1 정확도를 21.2포인트 손실시킨다. 따라서 우리는 경험적 잔차-대-마진 이동 가능성 인증(empirical residual-to-margin transportability certificate)을 도입한다. 307개의 평가 셀에서, 10포인트를 초과하는 손실을 입히는 모든 이동은 인증값이 3.9를 초과했지만, 무해한 영역과 파괴적 영역이 완벽하게 분리되지는 않았다. 게이팅은 무조건적 이동의 평균 -3.35포인트 효과를 +1.69포인트의 이득으로 전환하며, 넓은 임계값 범위에서 성능은 최적 임계값 대비 0.3포인트 이내를 유지한다. 마지막으로, 우리는 이 인증이 메커니즘 특이적(mechanism-specific)임을 보인다. 즉, Tent에 적용하면 업데이트의 4.3%만 수용하고 Tent가 얻을 수 있는 이득의 0.6%만 보존한다. 이러한 결과는 CASTER를 동결 모델 배포를 위한 경량 적응 메커니즘으로 자리매김하며, 그 안전 신호가 유용한 정보를 제공하는 경우와 그렇지 않은 경우에 대한 명시적 설명을 함께 제공한다.

English

Test-time adaptation (TTA) typically assumes that model parameters can be updated at inference time. This assumption is restrictive for inference-only accelerators, frozen or third-party models, and memory-constrained deployments, and standard BatchNorm-based TTA configurations may also become inactive on architectures without BatchNorm. We study adaptation when the learned model must remain frozen. We introduce CASTER, a gradient-free method that stores source class statistics in a discriminative subspace, estimates a class-shared affine transformation from target-batch moments, and analytically transports the source class distributions before classification. CASTER requires no backward pass, optimizer state, or stored source feature bank. Across four backbones and seven datasets, it outperforms k-NN on identical frozen features in 27 of 28 backbone-dataset settings while retaining a median of 18x less state. Affine transport is not always reliable. On ImageNet-C, where batches contain only 64 samples for 1000 classes, unconditional transport loses 21.2 top-1 points. We therefore introduce an empirical residual-to-margin transportability certificate. Across 307 evaluation cells, every transport losing more than 10 points has certificate value above 3.9, although benign and destructive regimes are not perfectly separated. Gating converts an average -3.35-point effect of unconditional transport into a +1.69-point gain, and performance remains within 0.3 points of the best threshold over a broad threshold range. Finally, we show that this certificate is mechanism-specific: when applied to Tent, it accepts only 4.3% of updates and preserves 0.6% of Tent's available gain. These results position CASTER as a lightweight adaptation mechanism for frozen-model deployment, together with an explicit account of when its safety signal is informative and when it is not.