Autoregressieve Semantische Visuele Reconstructie Helpt VLMs Beter Begrijpen

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

June 10, 2025

Auteurs: Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

cs.AI

Samenvatting

Typische grote vision-language modellen (LVLMs) passen autoregressieve supervisie uitsluitend toe op tekstuele sequenties, zonder de visuele modaliteit volledig te integreren in het leerproces. Dit resulteert in drie belangrijke beperkingen: (1) het onvermogen om afbeeldingen zonder bijbehorende bijschriften te gebruiken, (2) het risico dat bijschriften kritieke visuele details weglaten, en (3) de uitdaging dat bepaalde visiegerichte inhoud niet adequaat via tekst kan worden overgebracht. Als gevolg hiervan leggen huidige LVLMs vaak de nadruk op de afstemming tussen visie en taal, terwijl fijnmazige visuele informatie mogelijk over het hoofd wordt gezien. Hoewel sommige eerdere werken autoregressieve beeldgeneratie hebben onderzocht, blijft het effectief benutten van autoregressieve visuele supervisie om beeldbegrip te verbeteren een open uitdaging. In dit artikel introduceren we Autoregressive Semantic Visual Reconstruction (ASVR), wat gezamenlijk leren van visuele en tekstuele modaliteiten mogelijk maakt binnen een uniform autoregressief raamwerk. We tonen aan dat het autoregressief reconstrueren van de ruwe visuele verschijning van afbeeldingen het multimodale begrip niet verbetert en zelfs kan schaden. Daarentegen verbetert het autoregressief reconstrueren van de semantische representatie van afbeeldingen het begrip consistent. Opmerkelijk is dat we ontdekken dat zelfs wanneer modellen continue beeldkenmerken als invoer krijgen, ze effectief discrete semantische tokens kunnen reconstrueren, wat resulteert in stabiele en consistente verbeteringen over een breed scala aan multimodale begripstests. Onze aanpak levert aanzienlijke prestatieverbeteringen op over verschillende dataschaal (556k-2M) en soorten LLM-backbones. Specifiek verbetert ASVR LLaVA-1.5 met 5% in gemiddelde scores over 14 multimodale benchmarks. De code is beschikbaar op https://github.com/AlenjandroWang/ASVR.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.