Aandachttrekking op afbeeldingen voor grote visie-taalmodellen

Attention Prompting on Image for Large Vision-Language Models

September 25, 2024

Auteurs: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Samenvatting

In vergelijking met Grote Taalmodellen (LLM's) kunnen Grote Visie-Taalmodellen (LVLM's) ook afbeeldingen als invoer accepteren, waardoor ze interessantere opkomende mogelijkheden laten zien en indrukwekkende prestaties leveren op verschillende visie-taal taken. Geïnspireerd door tekstprompting in LLM's is visueel prompting onderzocht om de mogelijkheden van LVLM's om visuele informatie waar te nemen te verbeteren. Echter, eerdere visuele prompting technieken verwerken uitsluitend visuele invoer zonder rekening te houden met tekstvragen, waardoor de modellen beperkt zijn in hun vermogen om tekstinstructies te volgen om taken te voltooien. Om deze lacune op te vullen, stellen we in dit werk een nieuwe prompting techniek voor genaamd Aandachtsprompting op Afbeelding, die eenvoudigweg een tekstvraaggestuurde aandachtskaart over de oorspronkelijke invoerafbeelding plaatst en LVLM effectief verbetert op verschillende taken. Specifiek genereren we een aandachtskaart voor de invoerafbeelding afhankelijk van de tekstvraag met een hulpmodel zoals CLIP. Vervolgens vermenigvuldigt de aandachtskaart eenvoudigweg de pixelwaarden van de oorspronkelijke afbeelding om de daadwerkelijke invoerafbeelding voor de LVLM te verkrijgen. Uitgebreide experimenten op verschillende visie-taal benchmarks bevestigen de effectiviteit van onze techniek. Zo verbetert Aandachtsprompting op Afbeelding LLaVA-1.5 met 3.8% en 2.9% op respectievelijk de MM-Vet en LLaVA-Wild benchmarks.

English

Compared with Large Language Models (LLMs), Large Vision-Language Models (LVLMs) can also accept images as input, thus showcasing more interesting emergent capabilities and demonstrating impressive performance on various vision-language tasks. Motivated by text prompting in LLMs, visual prompting has been explored to enhance LVLMs' capabilities of perceiving visual information. However, previous visual prompting techniques solely process visual inputs without considering text queries, limiting the models' ability to follow text instructions to complete tasks. To fill this gap, in this work, we propose a new prompting technique named Attention Prompting on Image, which just simply overlays a text-query-guided attention heatmap on the original input image and effectively enhances LVLM on various tasks. Specifically, we generate an attention heatmap for the input image dependent on the text query with an auxiliary model like CLIP. Then the heatmap simply multiplies the pixel values of the original image to obtain the actual input image for the LVLM. Extensive experiments on various vison-language benchmarks verify the effectiveness of our technique. For example, Attention Prompting on Image improves LLaVA-1.5 by 3.8% and 2.9% on MM-Vet and LLaVA-Wild benchmarks, respectively.