Transformador de Visión Consciente de la Pregunta para el Razonamiento Multimodal

Resumen

Los modelos Visión-Lenguaje (VL) han ganado un enfoque de investigación significativo, permitiendo avances notables en el razonamiento multimodal. Estas arquitecturas típicamente comprenden un codificador visual, un Modelo de Lenguaje de Gran Escala (LLM) y un módulo de proyección que alinea las características visuales con el espacio de representación del LLM. A pesar de su éxito, persiste una limitación crítica: el proceso de codificación visual permanece desacoplado de las consultas del usuario, que a menudo se presentan en forma de preguntas relacionadas con la imagen. En consecuencia, las características visuales resultantes pueden no estar óptimamente sintonizadas con los elementos específicos de la consulta en la imagen. Para abordar esto, presentamos QA-ViT, un enfoque de Transformer Visual Consciente de la Pregunta para el razonamiento multimodal, que integra la conciencia de la pregunta directamente dentro del codificador visual. Esta integración resulta en características visuales dinámicas que se enfocan en los aspectos relevantes de la imagen para la pregunta planteada. QA-ViT es independiente del modelo y puede incorporarse eficientemente en cualquier arquitectura VL. Experimentos extensos demuestran la efectividad de aplicar nuestro método a varias arquitecturas multimodales, lo que lleva a una mejora consistente en diversas tareas y muestra su potencial para mejorar la comprensión visual y de texto en escenas.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.

Transformador de Visión Consciente de la Pregunta para el Razonamiento Multimodal

Question Aware Vision Transformer for Multimodal Reasoning

Resumen

Support