FVG-PT: Sintonización Adaptativa de Prompts Guiada por Vista de Primer Plano para Modelos de Visión y Lenguaje

FVG-PT: Adaptive Foreground View-Guided Prompt Tuning for Vision-Language Models

March 9, 2026

Autores: Haoyang Li, Liang Wang, Siyu Zhou, Jiacheng Sun, Jing Jiang, Chao Wang, Guodong Long, Yan Peng

cs.AI

Resumen

La sintonización de prompts basada en CLIP permite que los Modelos de Visión y Lenguaje (VLM) preentrenados se adapten eficientemente a tareas posteriores. Aunque los estudios existentes han logrado progresos significativos, prestan una atención limitada a los cambios en las representaciones internas de atención de los VLM durante el proceso de sintonización. En este artículo, atribuimos los modos de fallo de las predicciones por sintonización de prompts a desplazamientos en la atención al primer plano del codificador visual, y proponemos la Sintonización de Prompts Guiada por Vista del Primer Plano (FVG-PT), un módulo plug-and-play adaptativo de guía de atención al primer plano, para aliviar estos desplazamientos. Concretamente, FVG-PT introduce una Puerta de Confiabilidad del Primer Plano entrenable para mejorar automáticamente la calidad de la vista del primer plano, aplica un módulo de Compensación por Destilación del Primer Plano para guiar la atención visual hacia el primer plano, e introduce además un módulo de Calibración Previo para mitigar la degradación de la generalización causada por una atención excesiva al primer plano. Los experimentos en múltiples modelos base y conjuntos de datos muestran la efectividad y compatibilidad de FVG-PT. El código está disponible en: https://github.com/JREion/FVG-PT

English

CLIP-based prompt tuning enables pretrained Vision-Language Models (VLMs) to efficiently adapt to downstream tasks. Although existing studies have made significant progress, they pay limited attention to changes in the internal attention representations of VLMs during the tuning process. In this paper, we attribute the failure modes of prompt tuning predictions to shifts in foreground attention of the visual encoder, and propose Foreground View-Guided Prompt Tuning (FVG-PT), an adaptive plug-and-play foreground attention guidance module, to alleviate the shifts. Concretely, FVG-PT introduces a learnable Foreground Reliability Gate to automatically enhance the foreground view quality, applies a Foreground Distillation Compensation module to guide visual attention toward the foreground, and further introduces a Prior Calibration module to mitigate generalization degradation caused by excessive focus on the foreground. Experiments on multiple backbone models and datasets show the effectiveness and compatibility of FVG-PT. Codes are available at: https://github.com/JREion/FVG-PT