FVG-PT: Sintonizzazione Adattiva dei Prompt Guidata dalla Vista in Primo Piano per Modelli Visione-Linguaggio
FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models
March 9, 2026
Autori: Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng
cs.AI
Abstract
La sintonizzazione basata su prompt CLIP consente ai modelli linguistico-visivi (VLM) preaddestrati di adattarsi efficientemente ai task downstream. Sebbene gli studi esistenti abbiano compiuto progressi significativi, prestano un'attenzione limitata ai cambiamenti nelle rappresentazioni interne di attenzione dei VLM durante il processo di sintonizzazione. In questo articolo, attribuiamo le modalità di fallimento delle previsioni della sintonizzazione dei prompt a spostamenti nell'attenzione sul foreground dell'encoder visivo, e proponiamo la Foreground View-Guided Prompt Tuning (FVG-PT), un modulo plug-and-play adattivo di guida all'attenzione sul foreground, per alleviare tali spostamenti. Nello specifico, FVG-PT introduce un Foreground Reliability Gate addestrabile per migliorare automaticamente la qualità della vista del foreground, applica un modulo di Foreground Distillation Compensation per guidare l'attenzione visiva verso il foreground, e introduce ulteriormente un modulo di Prior Calibration per mitigare il degrado della generalizzazione causato da un'eccessiva focalizzazione sul foreground. Esperimenti su molteplici modelli di backbone e dataset dimostrano l'efficacia e la compatibilità di FVG-PT. I codici sono disponibili su: https://github.com/JREion/FVG-PT
English
CLIP-based prompt tuning enables pretrained Vision-Language Models (VLMs) to efficiently adapt to downstream tasks. Although existing studies have made significant progress, they pay limited attention to changes in the internal attention representations of VLMs during the tuning process. In this paper, we attribute the failure modes of prompt tuning predictions to shifts in foreground attention of the visual encoder, and propose Foreground View-Guided Prompt Tuning (FVG-PT), an adaptive plug-and-play foreground attention guidance module, to alleviate the shifts. Concretely, FVG-PT introduces a learnable Foreground Reliability Gate to automatically enhance the foreground view quality, applies a Foreground Distillation Compensation module to guide visual attention toward the foreground, and further introduces a Prior Calibration module to mitigate generalization degradation caused by excessive focus on the foreground. Experiments on multiple backbone models and datasets show the effectiveness and compatibility of FVG-PT. Codes are available at: https://github.com/JREion/FVG-PT