Steering Latente Consapevole dello Spettro al Momento del Test per la Generalizzazione Zero-Shot nei Modelli Visione-Linguaggio
Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
November 12, 2025
Autori: Konstantinos M. Dafnis, Dimitris N. Metaxas
cs.AI
Abstract
I modelli visione-linguaggio (VLM) eccellono nell'inferenza zero-shot ma spesso si degradano in presenza di variazioni di dominio durante il test. Per questo motivo, le strategie di adattamento episodico al test-time sono recentemente emerse come tecniche potenti per adattare i VLM a singole immagini non etichettate. Tuttavia, le strategie di adattamento esistenti, come la sintonizzazione dei prompt al test-time, richiedono tipicamente la retropropagazione attraverso pesi encoder di grandi dimensioni o l'alterazione di componenti fondamentali del modello. In questo lavoro, introduciamo Spectrum-Aware Test-Time Steering (STS), un framework di adattamento leggero che estrae un sottospazio spettrale dagli embedding testuali per definire direzioni semantiche principali e impara a orientare le rappresentazioni latenti in modo consapevole dello spettro, adattando un piccolo numero di parametri di scostamento per campione per minimizzare l'entropia tra viste aumentate. STS opera interamente in inferenza nello spazio latente, senza retropropagazione attraverso gli encoder congelati e senza modificarli. Basandoci su protocolli di valutazione standard, i nostri esperimenti completi dimostrano che STS supera ampiamente o si confronta favorevolmente con i metodi di adattamento al test-time all'avanguardia, introducendo solo una manciata di parametri aggiuntivi e raggiungendo velocità di inferenza fino a 8 volte superiori con un'impronta di memoria 12 volte inferiore rispetto alla convenzionale sintonizzazione dei prompt al test-time. Il codice è disponibile all'indirizzo https://github.com/kdafnis/STS.
English
Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.