자기회귀적 의미론적 시각 재구성이 시각 언어 모델의 이해력을 향상시킨다

초록

일반적인 대형 시각-언어 모델(LVLMs)은 텍스트 시퀀스에만 자동회귀적 지도를 적용하여 시각적 양상을 학습 과정에 완전히 통합하지 못한다. 이로 인해 세 가지 주요 한계가 발생한다: (1) 캡션이 없는 이미지를 활용할 수 없음, (2) 캡션이 중요한 시각적 세부 사항을 누락할 위험, (3) 특정 시각 중심 콘텐츠가 텍스트로 충분히 전달되지 못하는 문제. 결과적으로, 현재의 LVLMs는 시각-언어 정렬을 우선시하면서 세밀한 시각적 정보를 간과할 가능성이 있다. 기존 연구 중 일부는 자동회귀적 이미지 생성을 탐구했지만, 이미지 이해를 강화하기 위해 자동회귀적 시각적 지도를 효과적으로 활용하는 것은 여전히 해결되지 않은 과제로 남아 있다. 본 논문에서는 통합된 자동회귀 프레임워크 내에서 시각적 및 텍스트 양상을 함께 학습할 수 있는 자동회귀적 의미 시각 재구성(Autoregressive Semantic Visual Reconstruction, ASVR)을 소개한다. 우리는 이미지의 원시 시각적 외관을 자동회귀적으로 재구성하는 것이 다중모드 이해를 강화하지 못하고 오히려 저해할 수 있음을 보여준다. 반면, 이미지의 의미 표현을 자동회귀적으로 재구성하는 것은 일관되게 이해력을 향상시킨다. 특히, 모델이 연속적인 이미지 특징을 입력으로 받더라도 이산적인 의미 토큰을 효과적으로 재구성할 수 있으며, 이는 다양한 다중모드 이해 벤치마크에서 안정적이고 일관된 개선을 가져온다. 우리의 접근법은 다양한 데이터 규모(556k-2M)와 LLM 백본 유형에 걸쳐 상당한 성능 향상을 제공한다. 구체적으로, ASVR은 14개의 다중모드 벤치마크에서 LLaVA-1.5의 평균 점수를 5% 향상시킨다. 코드는 https://github.com/AlenjandroWang/ASVR에서 확인할 수 있다.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.

자기회귀적 의미론적 시각 재구성이 시각 언어 모델의 이해력을 향상시킨다

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

초록

Support