Test-Time Spectrum-Aware Latent Steering für Zero-Shot-Generalisierung in visuell-sprachlichen Modellen
Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
November 12, 2025
papers.authors: Konstantinos M. Dafnis, Dimitris N. Metaxas
cs.AI
papers.abstract
Vision-Language Models (VLMs) zeichnen sich durch starke Zero-Shot-Inferenz aus, leiden jedoch häufig unter Leistungseinbußen bei Domänenverschiebungen zur Testzeit. Aus diesem Grund haben sich in letzter Zeit episodische Test-Time-Adaptierungsstrategien als leistungsstarke Techniken etabliert, um VLMs an ein einzelnes unmarkiertes Bild anzupassen. Bisherige Adaptierungsstrategien, wie etwa Test-Time-Prompt-Tuning, erfordern jedoch typischerweise Backpropagation durch große Encoder-Gewichte oder die Modifikation zentraler Modellkomponenten. In dieser Arbeit stellen wir Spectrum-Aware Test-Time Steering (STS) vor, ein leichtgewichtiges Adaptierungsframework, das einen spektralen Unterraum aus den textuellen Einbettungen extrahiert, um principale semantische Richtungen zu definieren. Es lernt, latente Repräsentationen auf spektrumsensitive Weise zu steuern, indem eine kleine Anzahl von pro-Sample-Verschiebungsparametern angepasst wird, um die Entropie über augmentierte Ansichten zu minimieren. STS operiert vollständig während der Inferenz im latenten Raum, ohne Backpropagation durch oder Modifikation der eingefrorenen Encoder. Aufbauend auf standardisierten Evaluierungsprotokollen zeigen unsere umfassenden Experimente, dass STS state-of-the-art Test-Time-Adaptierungsmethoden deutlich übertrifft oder zumindest gleichauf liegt, während es nur eine Handvoll zusätzlicher Parameter einführt und eine bis zu 8-fach schnellere Inferenzgeschwindigkeit bei einem 12-fach geringeren Speicherbedarf im Vergleich zu konventionellem Test-Time-Prompt-Tuning erreicht. Der Code ist verfügbar unter https://github.com/kdafnis/STS.
English
Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.