FVG-PT: Adaptives Vordergrund-Ansicht-gesteuertes Prompt-Tuning für Vision-Sprach-Modelle
FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models
March 9, 2026
Autoren: Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng
cs.AI
Zusammenfassung
CLIP-basiertes Prompt-Tuning ermöglicht es vortrainierten Vision-Language-Modellen (VLMs), sich effizient an Downstream-Aufgaben anzupassen. Obwohl bestehende Studien bedeutende Fortschritte erzielt haben, schenken sie den Veränderungen in den internen Aufmerksamkeitsrepräsentationen von VLMs während des Tuning-Prozesses nur begrenzte Aufmerksamkeit. In diesem Artikel führen wir die Fehlermodi von Prompt-Tuning-Vorhersagen auf Verschiebungen in der Vordergrundaufmerksamkeit des visuellen Encoders zurück und schlagen Foreground View-Guided Prompt Tuning (FVG-PT) vor, ein adaptives Plug-and-Play-Modul zur Vordergrundaufmerksamkeitssteuerung, um diese Verschiebungen zu mildern. Konkret führt FVG-PT ein lernbares Foreground Reliability Gate ein, um automatisch die Qualität der Vordergrundansicht zu verbessern, wendet ein Foreground Distillation Compensation-Modul an, um die visuelle Aufmerksamkeit auf den Vordergrund zu lenken, und führt zudem ein Prior Calibration-Modul ein, um Generalisierungsverschlechterungen zu mindern, die durch übermäßige Fokussierung auf den Vordergrund verursacht werden. Experimente mit mehreren Backbone-Modellen und Datensätzen zeigen die Wirksamkeit und Kompatibilität von FVG-PT. Codes sind verfügbar unter: https://github.com/JREion/FVG-PT
English
CLIP-based prompt tuning enables pretrained Vision-Language Models (VLMs) to efficiently adapt to downstream tasks. Although existing studies have made significant progress, they pay limited attention to changes in the internal attention representations of VLMs during the tuning process. In this paper, we attribute the failure modes of prompt tuning predictions to shifts in foreground attention of the visual encoder, and propose Foreground View-Guided Prompt Tuning (FVG-PT), an adaptive plug-and-play foreground attention guidance module, to alleviate the shifts. Concretely, FVG-PT introduces a learnable Foreground Reliability Gate to automatically enhance the foreground view quality, applies a Foreground Distillation Compensation module to guide visual attention toward the foreground, and further introduces a Prior Calibration module to mitigate generalization degradation caused by excessive focus on the foreground. Experiments on multiple backbone models and datasets show the effectiveness and compatibility of FVG-PT. Codes are available at: https://github.com/JREion/FVG-PT