Incitation à l'attention sur l'image pour les grands modèles de vision-langage

Attention Prompting on Image for Large Vision-Language Models

September 25, 2024

Auteurs: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Résumé

Comparés aux grands modèles de langage (LLMs), les grands modèles vision-langage (LVLMs) peuvent également accepter des images en entrée, mettant ainsi en valeur des capacités émergentes plus intéressantes et démontrant des performances impressionnantes sur diverses tâches vision-langage. Motivée par la génération de texte dans les LLMs, la génération visuelle a été explorée pour améliorer les capacités des LVLMs à percevoir l'information visuelle. Cependant, les techniques précédentes de génération visuelle traitaient uniquement les entrées visuelles sans tenir compte des requêtes textuelles, limitant la capacité des modèles à suivre les instructions textuelles pour accomplir des tâches. Pour combler cette lacune, dans ce travail, nous proposons une nouvelle technique de génération nommée Attention Prompting on Image, qui superpose simplement une carte de chaleur d'attention guidée par la requête textuelle sur l'image d'entrée d'origine et améliore efficacement les LVLM sur diverses tâches. Plus précisément, nous générons une carte de chaleur d'attention pour l'image d'entrée en fonction de la requête textuelle avec un modèle auxiliaire comme CLIP. Ensuite, la carte de chaleur multiplie simplement les valeurs de pixels de l'image d'origine pour obtenir l'image d'entrée réelle pour le LVLM. Des expériences approfondies sur divers bancs d'essai vision-langage confirment l'efficacité de notre technique. Par exemple, l'Attention Prompting on Image améliore le LLaVA-1.5 de 3,8 % et de 2,9 % sur les bancs d'essai MM-Vet et LLaVA-Wild, respectivement.

English

Compared with Large Language Models (LLMs), Large Vision-Language Models (LVLMs) can also accept images as input, thus showcasing more interesting emergent capabilities and demonstrating impressive performance on various vision-language tasks. Motivated by text prompting in LLMs, visual prompting has been explored to enhance LVLMs' capabilities of perceiving visual information. However, previous visual prompting techniques solely process visual inputs without considering text queries, limiting the models' ability to follow text instructions to complete tasks. To fill this gap, in this work, we propose a new prompting technique named Attention Prompting on Image, which just simply overlays a text-query-guided attention heatmap on the original input image and effectively enhances LVLM on various tasks. Specifically, we generate an attention heatmap for the input image dependent on the text query with an auxiliary model like CLIP. Then the heatmap simply multiplies the pixel values of the original image to obtain the actual input image for the LVLM. Extensive experiments on various vison-language benchmarks verify the effectiveness of our technique. For example, Attention Prompting on Image improves LLaVA-1.5 by 3.8% and 2.9% on MM-Vet and LLaVA-Wild benchmarks, respectively.