Поддержка внимания на изображении для крупных моделей видео-языка

Attention Prompting on Image for Large Vision-Language Models

September 25, 2024

Авторы: Runpeng Yu, Weihao Yu, Xinchao Wang

cs.AI

Аннотация

В сравнении с большими языковыми моделями (LLM), большие модели видео-языка (LVLM) также могут принимать изображения в качестве входных данных, что позволяет проявить более интересные возможности и продемонстрировать впечатляющую производительность на различных задачах видео-языкового взаимодействия. Под влиянием текстового подсказывания в LLM, было исследовано визуальное подсказывание для улучшения способностей LVLM в восприятии визуальной информации. Однако предыдущие техники визуального подсказывания обрабатывали только визуальные входы, не учитывая текстовые запросы, что ограничивало способность моделей следовать текстовым инструкциям для выполнения задач. Для заполнения этого пробела в данной работе мы предлагаем новую технику подсказывания, названную "Внимание на изображении", которая просто наложит тепловую карту внимания, направляемую текстовым запросом, на исходное входное изображение и эффективно улучшит LVLM на различных задачах. Конкретно, мы генерируем тепловую карту внимания для входного изображения, зависящую от текстового запроса, с использованием вспомогательной модели, например, CLIP. Затем тепловая карта просто умножает значения пикселей исходного изображения для получения фактического входного изображения для LVLM. Обширные эксперименты на различных бенчмарках видео-языкового взаимодействия подтверждают эффективность нашей техники. Например, "Внимание на изображении" улучшает LLaVA-1.5 на 3.8% и 2.9% на бенчмарках MM-Vet и LLaVA-Wild соответственно.

English

Compared with Large Language Models (LLMs), Large Vision-Language Models (LVLMs) can also accept images as input, thus showcasing more interesting emergent capabilities and demonstrating impressive performance on various vision-language tasks. Motivated by text prompting in LLMs, visual prompting has been explored to enhance LVLMs' capabilities of perceiving visual information. However, previous visual prompting techniques solely process visual inputs without considering text queries, limiting the models' ability to follow text instructions to complete tasks. To fill this gap, in this work, we propose a new prompting technique named Attention Prompting on Image, which just simply overlays a text-query-guided attention heatmap on the original input image and effectively enhances LVLM on various tasks. Specifically, we generate an attention heatmap for the input image dependent on the text query with an auxiliary model like CLIP. Then the heatmap simply multiplies the pixel values of the original image to obtain the actual input image for the LVLM. Extensive experiments on various vison-language benchmarks verify the effectiveness of our technique. For example, Attention Prompting on Image improves LLaVA-1.5 by 3.8% and 2.9% on MM-Vet and LLaVA-Wild benchmarks, respectively.