Латентное управление с учетом спектра во время тестирования для обеспечения нулевой обобщающей способности в визуально-языковых моделях
Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models
November 12, 2025
Авторы: Konstantinos M. Dafnis, Dimitris N. Metaxas
cs.AI
Аннотация
Модели «зрение–язык» (Vision-Language Models, VLMs) демонстрируют высокую эффективность в условиях zero-shot-вывода, но часто деградируют при доменных сдвигах во время тестирования. По этой причине в последнее время получили распространение стратегии эпизодической адаптации на этапе тестирования (test-time adaptation) как мощные методы подстройки VLMs к отдельным немаркированным изображениям. Однако существующие стратегии адаптации, такие как настройка промптов во время тестирования, обычно требуют обратного распространения через веса больших кодировщиков или изменения основных компонентов модели. В данной работе мы представляем Spectrum-Aware Test-Time Steering (STS) — облегченный фреймворк адаптации, который извлекает спектральное подпространство из текстовых эмбеддингов для определения главных семантических направлений и обучается управлять латентными представлениями с учетом спектра, адаптируя небольшое количество параметров сдвига на каждый образец для минимизации энтропии между аугментированными представлениями. STS полностью работает на этапе вывода в латентном пространстве, без обратного распространения через замороженные кодировщики и без их модификации. На основе стандартных протоколов оценки наши комплексные эксперименты показывают, что STS значительно превосходит или сравнимо конкурирует с современными методами адаптации на этапе тестирования, при этом вводя лишь небольшое количество дополнительных параметров и обеспечивая скорость вывода до 8 раз выше при 12-кратном уменьшении требований к памяти по сравнению с традиционной настройкой промптов во время тестирования. Код доступен по адресу https://github.com/kdafnis/STS.
English
Vision-Language Models (VLMs) excel at zero-shot inference but often degrade under test-time domain shifts. For this reason, episodic test-time adaptation strategies have recently emerged as powerful techniques for adapting VLMs to a single unlabeled image. However, existing adaptation strategies, such as test-time prompt tuning, typically require backpropagating through large encoder weights or altering core model components. In this work, we introduce Spectrum-Aware Test-Time Steering (STS), a lightweight adaptation framework that extracts a spectral subspace from the textual embeddings to define principal semantic directions and learns to steer latent representations in a spectrum-aware manner by adapting a small number of per-sample shift parameters to minimize entropy across augmented views. STS operates entirely at inference in the latent space, without backpropagation through or modification of the frozen encoders. Building on standard evaluation protocols, our comprehensive experiments demonstrate that STS largely surpasses or compares favorably against state-of-the-art test-time adaptation methods, while introducing only a handful of additional parameters and achieving inference speeds up to 8x faster with a 12x smaller memory footprint than conventional test-time prompt tuning. The code is available at https://github.com/kdafnis/STS.