FVG-PT：視覚言語モデルにおける適応的前景ビュー誘導型プロンプトチューニング

FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models

March 9, 2026

著者: Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng

cs.AI

要旨

CLIPベースのプロンプトチューニングは、事前学習済み視覚言語モデル（VLM）が下流タスクに効率的に適応することを可能にする。既存研究は大きな進展を見せているが、チューニング過程におけるVLMの内部注意表現の変化には十分な注意が払われていない。本論文では、プロンプトチューニング予測の失敗モードを視覚エンコーダの前景注意のシフトに帰因させ、このシフトを緩和するために適応的プラグアンドプレイ型の前景注意ガイダンスモジュールであるForeground View-Guided Prompt Tuning（FVG-PT）を提案する。具体的には、FVG-PTは学習可能な前景信頼性ゲートを導入して前景ビューの品質を自動的に向上させ、前景蒸留補償モジュールを適用して視覚的注意を前景に向けさせ、さらに前景への過度な集中による一般化性能の低下を軽減するための事前較正モジュールを導入する。複数のバックボーンモデルとデータセットを用いた実験により、FVG-PTの有効性と互換性が示されている。コードはhttps://github.com/JREion/FVG-PT で公開されている。

English

CLIP-based prompt tuning enables pretrained Vision-Language Models (VLMs) to efficiently adapt to downstream tasks. Although existing studies have made significant progress, they pay limited attention to changes in the internal attention representations of VLMs during the tuning process. In this paper, we attribute the failure modes of prompt tuning predictions to shifts in foreground attention of the visual encoder, and propose Foreground View-Guided Prompt Tuning (FVG-PT), an adaptive plug-and-play foreground attention guidance module, to alleviate the shifts. Concretely, FVG-PT introduces a learnable Foreground Reliability Gate to automatically enhance the foreground view quality, applies a Foreground Distillation Compensation module to guide visual attention toward the foreground, and further introduces a Prior Calibration module to mitigate generalization degradation caused by excessive focus on the foreground. Experiments on multiple backbone models and datasets show the effectiveness and compatibility of FVG-PT. Codes are available at: https://github.com/JREion/FVG-PT