다중모드 추론을 위한 질문 인식 비전 트랜스포머

초록

비전-언어(Vision-Language, VL) 모델은 다중 모드 추론(multimodal reasoning) 분야에서 주목할 만한 발전을 이끌며 상당한 연구 관심을 받고 있습니다. 이러한 아키�처는 일반적으로 비전 인코더, 대형 언어 모델(Large Language Model, LLM), 그리고 시각적 특징을 LLM의 표현 공간에 정렬하는 프로젝션 모듈로 구성됩니다. 이러한 성공에도 불구하고, 한 가지 중요한 한계점이 여전히 존재합니다: 비전 인코딩 프로세스는 사용자 쿼리(주로 이미지 관련 질문 형태)와 분리된 상태로 유지됩니다. 결과적으로 생성된 시각적 특징은 쿼리와 관련된 이미지 요소에 최적으로 맞춰지지 않을 수 있습니다. 이를 해결하기 위해, 우리는 질문 인식 비전 트랜스포머(Question Aware Vision Transformer, QA-ViT) 접근법을 제안합니다. 이 방법은 비전 인코더 내에 질문 인식을 직접 통합하여, 제기된 질문과 관련된 이미지 측면에 초점을 맞춘 동적 시각적 특징을 생성합니다. QA-ViT는 모델에 독립적이며, 어떤 VL 아키텍처에도 효율적으로 통합될 수 있습니다. 다양한 다중 모드 아키텍처에 우리의 방법을 적용한 광범위한 실험을 통해, 이 방법이 다양한 작업에서 일관된 성능 향상을 이끌어내며 시각적 및 장면 텍스트 이해를 강화할 수 있는 잠재력을 보여주었습니다.

English

Vision-Language (VL) models have gained significant research focus, enabling remarkable advances in multimodal reasoning. These architectures typically comprise a vision encoder, a Large Language Model (LLM), and a projection module that aligns visual features with the LLM's representation space. Despite their success, a critical limitation persists: the vision encoding process remains decoupled from user queries, often in the form of image-related questions. Consequently, the resulting visual features may not be optimally attuned to the query-specific elements of the image. To address this, we introduce QA-ViT, a Question Aware Vision Transformer approach for multimodal reasoning, which embeds question awareness directly within the vision encoder. This integration results in dynamic visual features focusing on relevant image aspects to the posed question. QA-ViT is model-agnostic and can be incorporated efficiently into any VL architecture. Extensive experiments demonstrate the effectiveness of applying our method to various multimodal architectures, leading to consistent improvement across diverse tasks and showcasing its potential for enhancing visual and scene-text understanding.

다중모드 추론을 위한 질문 인식 비전 트랜스포머

Question Aware Vision Transformer for Multimodal Reasoning

초록

Support