Вопросно-ориентированный Vision Transformer для мультимодального рассуждения

Question Aware Vision Transformer for Multimodal Reasoning

February 8, 2024

Авторы: Roy Ganz, Yair Kittenplon, Aviad Aberdam, Elad Ben Avraham, Oren Nuriel, Shai Mazor, Ron Litman

cs.AI

Аннотация

Модели Vision-Language (VL) привлекают значительное внимание исследователей, способствуя заметным достижениям в области мультимодального анализа. Такие архитектуры обычно включают визуальный кодировщик, крупную языковую модель (LLM) и проекционный модуль, который согласует визуальные признаки с пространством представлений LLM. Несмотря на их успех, сохраняется ключевое ограничение: процесс кодирования визуальной информации остается оторванным от пользовательских запросов, часто представленных в виде вопросов, связанных с изображением. В результате полученные визуальные признаки могут не оптимально учитывать элементы изображения, релевантные конкретному запросу. Для решения этой проблемы мы представляем QA-ViT — подход Question Aware Vision Transformer для мультимодального анализа, который встраивает осведомленность о вопросе непосредственно в визуальный кодировщик. Такая интеграция позволяет получать динамические визуальные признаки, фокусирующиеся на аспектах изображения, важных для заданного вопроса. QA-ViT является модель-независимым и может быть эффективно интегрирован в любую архитектуру VL. Многочисленные эксперименты демонстрируют эффективность применения нашего метода к различным мультимодальным архитектурам, приводя к устойчивому улучшению в разнообразных задачах и показывая его потенциал для углубления понимания визуальной информации и текста в сценах.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.