Transformador de Visão Consciente de Perguntas para Raciocínio Multimodal

Question Aware Vision Transformer for Multimodal Reasoning

February 8, 2024

Autores: Roy Ganz, Yair Kittenplon, Aviad Aberdam, Elad Ben Avraham, Oren Nuriel, Shai Mazor, Ron Litman

cs.AI

Resumo

Os modelos Visão-Linguagem (VL) têm recebido um foco significativo de pesquisa, possibilitando avanços notáveis no raciocínio multimodal. Essas arquiteturas geralmente compreendem um codificador visual, um Modelo de Linguagem de Grande Escala (LLM) e um módulo de projeção que alinha as características visuais com o espaço de representação do LLM. Apesar de seu sucesso, uma limitação crítica persiste: o processo de codificação visual permanece desacoplado das consultas dos usuários, frequentemente na forma de perguntas relacionadas à imagem. Consequentemente, as características visuais resultantes podem não estar otimamente sintonizadas com os elementos específicos da imagem relacionados à consulta. Para abordar isso, introduzimos o QA-ViT, uma abordagem de Transformer Visual Consciente da Pergunta para raciocínio multimodal, que incorpora a consciência da pergunta diretamente no codificador visual. Essa integração resulta em características visuais dinâmicas que se concentram nos aspectos relevantes da imagem para a pergunta formulada. O QA-ViT é independente de modelo e pode ser incorporado de forma eficiente em qualquer arquitetura VL. Experimentos extensivos demonstram a eficácia da aplicação de nosso método em várias arquiteturas multimodais, levando a melhorias consistentes em diversas tarefas e mostrando seu potencial para aprimorar a compreensão visual e de texto em cenas.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.