Direcionamento Latente Consciente do Espectro no Momento do Teste para Generalização Zero-Shot em Modelos de Visão e Linguagem
Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
November 12, 2025
Autores: Konstantinos M. Dafnis, Dimitris N. Metaxas
cs.AI
Resumo
Os Modelos de Visão-Linguagem (VLMs) destacam-se na inferência zero-shot, mas frequentemente apresentam degradação sob mudanças de domínio durante o teste. Por esta razão, estratégias de adaptação episódica em tempo de teste emergiram recentemente como técnicas poderosas para adaptar VLMs a uma única imagem não rotulada. No entanto, as estratégias de adaptação existentes, como a otimização de prompts em tempo de teste, geralmente requerem retropropagação através de grandes pesos do codificador ou alteração de componentes centrais do modelo. Neste trabalho, introduzimos o Direcionamento em Tempo de Teste com Consciência Espectral (STS), uma estrutura de adaptação leve que extrai um subespaço espectral dos embeddings textuais para definir direções semânticas principais e aprende a direcionar representações latentes de forma espectralmente consciente, adaptando um pequeno número de parâmetros de desvio por amostra para minimizar a entropia entre visões aumentadas. O STS opera inteiramente durante a inferência no espaço latente, sem retropropagação através ou modificação dos codificadores congelados. Com base em protocolos de avaliação padrão, nossos experimentos abrangentes demonstram que o STS supera amplamente ou compara-se favoravelmente com os métodos state-of-the-art de adaptação em tempo de teste, enquanto introduz apenas um punhado de parâmetros adicionais e alcança velocidades de inferência até 8x mais rápidas com uma pegada de memória 12x menor do que a otimização convencional de prompts em tempo de teste. O código está disponível em https://github.com/kdafnis/STS.
English
Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.