Question Aware Vision Transformer voor Multimodale Redenering

Question Aware Vision Transformer for Multimodal Reasoning

February 8, 2024

Auteurs: Roy Ganz, Yair Kittenplon, Aviad Aberdam, Elad Ben Avraham, Oren Nuriel, Shai Mazor, Ron Litman

cs.AI

Samenvatting

Vision-Language (VL) modellen hebben aanzienlijke onderzoeksaandacht gekregen, wat opmerkelijke vooruitgang heeft mogelijk gemaakt in multimodale redenering. Deze architecturen bestaan typisch uit een vision-encoder, een Large Language Model (LLM), en een projectiemodule die visuele kenmerken afstemt op de representatieruimte van het LLM. Ondanks hun succes blijft een kritische beperking bestaan: het vision-encodingproces blijft losgekoppeld van gebruikersvragen, vaak in de vorm van beeldgerelateerde vragen. Hierdoor zijn de resulterende visuele kenmerken mogelijk niet optimaal afgestemd op de vraag-specifieke elementen van de afbeelding. Om dit aan te pakken, introduceren we QA-ViT, een Question Aware Vision Transformer-benadering voor multimodale redenering, die vraagbewustzijn direct integreert in de vision-encoder. Deze integratie resulteert in dynamische visuele kenmerken die zich richten op relevante aspecten van de afbeelding in relatie tot de gestelde vraag. QA-ViT is model-agnostisch en kan efficiënt worden geïntegreerd in elke VL-architectuur. Uitgebreide experimenten tonen de effectiviteit aan van het toepassen van onze methode op verschillende multimodale architecturen, wat leidt tot consistente verbeteringen bij diverse taken en het potentieel ervan aantoont voor het verbeteren van visueel en scenetekstbegrip.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.