FVG-PT: Адаптивная настройка промптов на основе направляющей видимости переднего плана для визуально-языковых моделей

FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models

March 9, 2026

Авторы: Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng

cs.AI

Аннотация

Тюнинг промптов на основе CLIP позволяет предобученным визуально-языковым моделям (VLM) эффективно адаптироваться к последующим задачам. Хотя существующие исследования достигли значительного прогресса, они уделяют недостаточно внимания изменениям внутренних репрезентаций внимания в VLM в процессе настройки. В данной работе мы связываем ошибки прогнозирования при тюнинге промптов со смещениями внимания к переднему плану в визуальном кодировщике и предлагаем метод FVG-PT — адаптивный модуль направляющего внимания на передний план по принципу «включи и работай». Конкретно, FVG-PT вводит обучаемый «Вентиль надежности переднего плана» для автоматического улучшения качества выделения переднего плана, применяет модуль «Компенсации дистилляции переднего плана» для направления визуального внимания на целевой объект и дополнительно вводит модуль «Предварительной калибровки» для снижения ухудшения обобщающей способности из-за чрезмерной фокусировки на переднем плане. Эксперименты на нескольких базовых моделях и наборах данных подтверждают эффективность и совместимость FVG-PT. Код доступен по адресу: https://github.com/JREion/FVG-PT.

English

CLIP-based prompt tuning enables pretrained Vision-Language Models (VLMs) to efficiently adapt to downstream tasks. Although existing studies have made significant progress, they pay limited attention to changes in the internal attention representations of VLMs during the tuning process. In this paper, we attribute the failure modes of prompt tuning predictions to shifts in foreground attention of the visual encoder, and propose Foreground View-Guided Prompt Tuning (FVG-PT), an adaptive plug-and-play foreground attention guidance module, to alleviate the shifts. Concretely, FVG-PT introduces a learnable Foreground Reliability Gate to automatically enhance the foreground view quality, applies a Foreground Distillation Compensation module to guide visual attention toward the foreground, and further introduces a Prior Calibration module to mitigate generalization degradation caused by excessive focus on the foreground. Experiments on multiple backbone models and datasets show the effectiveness and compatibility of FVG-PT. Codes are available at: https://github.com/JREion/FVG-PT