FVG-PT: Adaptieve Voorgrondzicht-Gestuurde Promptafstemming voor Visueel-Taalmodellen

FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models

March 9, 2026

Auteurs: Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng

cs.AI

Samenvatting

CLIP-gebaseerde prompt-tuning stelt vooraf getrainde Vision-Language Models (VLM's) in staat om zich efficiënt aan te passen aan downstreamtaken. Hoewel bestaande studies aanzienlijke vooruitgang hebben geboekt, besteden zij beperkte aandacht aan veranderingen in de interne aandachtrepresentaties van VLM's tijdens het tuningproces. In dit artikel wijten we de faalmodi van prompt-tuningvoorspellingen aan verschuivingen in de voorgrondaandacht van de visuele encoder, en stellen we Foreground View-Guided Prompt Tuning (FVG-PT) voor, een adaptieve plug-and-play voorgrondaandachtsturingsmodule, om deze verschuivingen te verlichten. Concreet introduceert FVG-PT een leerbare Foreground Reliability Gate om automatisch de kwaliteit van het voorgrondbeeld te verbeteren, past het een Foreground Distillation Compensation-module toe om de visuele aandacht naar de voorgrond te sturen, en introduceert het verder een Prior Calibration-module om generalisatiedegradatie veroorzaakt door overmatige focus op de voorgrond te verminderen. Experimenten met meerdere backbone-modellen en datasets tonen de effectiviteit en compatibiliteit van FVG-PT aan. Code is beschikbaar op: https://github.com/JREion/FVG-PT

English

CLIP-based prompt tuning enables pretrained Vision-Language Models (VLMs) to efficiently adapt to downstream tasks. Although existing studies have made significant progress, they pay limited attention to changes in the internal attention representations of VLMs during the tuning process. In this paper, we attribute the failure modes of prompt tuning predictions to shifts in foreground attention of the visual encoder, and propose Foreground View-Guided Prompt Tuning (FVG-PT), an adaptive plug-and-play foreground attention guidance module, to alleviate the shifts. Concretely, FVG-PT introduces a learnable Foreground Reliability Gate to automatically enhance the foreground view quality, applies a Foreground Distillation Compensation module to guide visual attention toward the foreground, and further introduces a Prior Calibration module to mitigate generalization degradation caused by excessive focus on the foreground. Experiments on multiple backbone models and datasets show the effectiveness and compatibility of FVG-PT. Codes are available at: https://github.com/JREion/FVG-PT