Transformateur de Vision Conscient des Questions pour le Raisonnement Multimodal

Question Aware Vision Transformer for Multimodal Reasoning

February 8, 2024

Auteurs: Roy Ganz, Yair Kittenplon, Aviad Aberdam, Elad Ben Avraham, Oren Nuriel, Shai Mazor, Ron Litman

cs.AI

Résumé

Les modèles Vision-Langage (VL) ont suscité un intérêt de recherche considérable, permettant des avancées remarquables dans le raisonnement multimodal. Ces architectures comprennent généralement un encodeur visuel, un Grand Modèle de Langage (LLM), et un module de projection qui aligne les caractéristiques visuelles avec l'espace de représentation du LLM. Malgré leur succès, une limitation critique persiste : le processus d'encodage visuel reste découplé des requêtes utilisateur, souvent formulées sous forme de questions relatives à l'image. Par conséquent, les caractéristiques visuelles résultantes peuvent ne pas être optimalement adaptées aux éléments spécifiques de l'image liés à la requête. Pour remédier à cela, nous introduisons QA-ViT, une approche Question Aware Vision Transformer pour le raisonnement multimodal, qui intègre directement la prise en compte de la question au sein de l'encodeur visuel. Cette intégration produit des caractéristiques visuelles dynamiques se concentrant sur les aspects pertinents de l'image par rapport à la question posée. QA-ViT est agnostique au modèle et peut être intégré efficacement dans toute architecture VL. Des expériences approfondies démontrent l'efficacité de l'application de notre méthode à diverses architectures multimodales, conduisant à une amélioration constante sur une variété de tâches et mettant en évidence son potentiel pour améliorer la compréhension visuelle et textuelle des scènes.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.