Trasformatore Visivo Consapevole delle Domande per il Ragionamento Multimodale

Question Aware Vision Transformer for Multimodal Reasoning

February 8, 2024

Autori: Roy Ganz, Yair Kittenplon, Aviad Aberdam, Elad Ben Avraham, Oren Nuriel, Shai Mazor, Ron Litman

cs.AI

Abstract

I modelli Vision-Language (VL) hanno attirato un significativo interesse di ricerca, consentendo notevoli progressi nel ragionamento multimodale. Queste architetture tipicamente comprendono un encoder visivo, un Large Language Model (LLM) e un modulo di proiezione che allinea le caratteristiche visive con lo spazio di rappresentazione dell'LLM. Nonostante il loro successo, persiste una limitazione critica: il processo di codifica visiva rimane disaccoppiato dalle query degli utenti, spesso formulate come domande relative all'immagine. Di conseguenza, le caratteristiche visive risultanti potrebbero non essere ottimamente sintonizzate sugli elementi specifici dell'immagine rilevanti per la query. Per affrontare questo problema, introduciamo QA-ViT, un approccio Question Aware Vision Transformer per il ragionamento multimodale, che integra la consapevolezza della domanda direttamente all'interno dell'encoder visivo. Questa integrazione produce caratteristiche visive dinamiche che si concentrano sugli aspetti rilevanti dell'immagine rispetto alla domanda posta. QA-ViT è model-agnostic e può essere incorporato efficientemente in qualsiasi architettura VL. Esperimenti estensivi dimostrano l'efficacia dell'applicazione del nostro metodo a varie architetture multimodali, portando a miglioramenti consistenti in diversi compiti e mostrando il suo potenziale per migliorare la comprensione visiva e del testo nelle scene.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.