Direccionamiento Latente Consciente del Espectro en Tiempo de Prueba para la Generalización Cero Disparo en Modelos de Visión y Lenguaje

Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models

November 12, 2025

Autores: Konstantinos M. Dafnis, Dimitris N. Metaxas

cs.AI

Resumen

Los Modelos de Visión-Lenguaje (VLM) destacan en inferencia zero-shot, pero suelen degradarse ante cambios de dominio durante el test. Por esta razón, las estrategias de adaptación episódica en tiempo de prueba han surgido recientemente como técnicas potentes para adaptar los VLM a una única imagen sin etiquetar. Sin embargo, las estrategias de adaptación existentes, como la sintonización de prompts en tiempo de prueba, generalmente requieren retropropagar a través de los pesos de grandes codificadores o alterar componentes centrales del modelo. En este trabajo, presentamos Spectrum-Aware Test-Time Steering (STS), un marco de adaptación ligero que extrae un subespacio espectral de los embeddings textuales para definir direcciones semánticas principales y aprende a dirigir las representaciones latentes de manera consciente al espectro, adaptando un pequeño número de parámetros de cambio por muestra para minimizar la entropía entre vistas aumentadas. STS opera completamente durante la inferencia en el espacio latente, sin retropropagación a través de, o modificación de, los codificadores congelados. Basándonos en protocolos de evaluación estándar, nuestros experimentos exhaustivos demuestran que STS supera ampliamente o se compara favorablemente con los métodos de adaptación en tiempo de prueba más avanzados, mientras introduce solo un puñado de parámetros adicionales y logra velocidades de inferencia hasta 8 veces más rápidas, con una huella de memoria 12 veces menor que la sintonización de prompts convencional en tiempo de prueba. El código está disponible en https://github.com/kdafnis/STS.

English

Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.