テスト時スペクトル考慮潜在ステアリングによる視覚言語モデルのゼロショット汎化

Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models

November 12, 2025

著者: Konstantinos M. Dafnis, Dimitris N. Metaxas

cs.AI

要旨

Vision-Language Models (VLMs) はゼロショット推論に優れるが、テスト時のドメインシフト下では性能が低下しがちである。このため、単一のラベルなし画像にVLMsを適応させる手法として、エピソード型テスト時適応戦略が最近有力な技術として登場している。しかし、テスト時プロンプトチューニングなどの既存の適応戦略は、一般的に大規模なエンコーダーの重みを通した誤差逆伝播や、コアモデルコンポーネントの変更を必要とする。本研究では、Spectrum-Aware Test-Time Steering (STS) を提案する。これは、テキスト埋め込みからスペクトル部分空間を抽出して主要な意味方向を定義し、拡張ビュー間のエントロピーを最小化するためにサンプル毎の少数のシフトパラメータを適応させることで、潜在表現をスペクトルを考慮した方法で制御する軽量な適応フレームワークである。STSは推論時に潜在空間において完全に動作し、凍結されたエンコーダーを通した誤差逆伝播や変更を一切必要としない。標準的な評価プロトコルに基づく総合的な実験により、STSが既存の最先端テスト時適応手法を大きく上回る、または同等以上の性能を発揮する一方で、追加パラメータはごく少数であり、従来のテスト時プロンプトチューニングと比較して推論速度は最大8倍、メモリフットプリントは12分の1に抑えられることを実証する。コードは https://github.com/kdafnis/STS で公開されている。

English

Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.