La Ricostruzione Visiva Semantica Autoregressiva Aiuta i Modelli Linguistici Visivi a Comprendere Meglio

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

June 10, 2025

Autori: Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

cs.AI

Abstract

I tipici modelli linguistico-visuali di grandi dimensioni (LVLM) applicano la supervisione autoregressiva esclusivamente alle sequenze testuali, senza incorporare pienamente la modalità visiva nel processo di apprendimento. Ciò comporta tre limitazioni principali: (1) l'incapacità di utilizzare immagini senza didascalie associate, (2) il rischio che le didascalie omettano dettagli visivi critici e (3) la sfida che alcuni contenuti centrati sulla visione non possano essere adeguatamente trasmessi attraverso il testo. Di conseguenza, gli attuali LVLM spesso privilegiano l'allineamento visione-linguaggio, rischiando di trascurare informazioni visive dettagliate. Sebbene alcuni lavori precedenti abbiano esplorato la generazione autoregressiva di immagini, sfruttare efficacemente la supervisione visiva autoregressiva per migliorare la comprensione delle immagini rimane una sfida aperta. In questo articolo, introduciamo la Ricostruzione Visiva Semantica Autoregressiva (ASVR), che consente l'apprendimento congiunto delle modalità visive e testuali all'interno di un framework autoregressivo unificato. Dimostriamo che ricostruire autoregressivamente l'aspetto visivo grezzo delle immagini non migliora e potrebbe persino compromettere la comprensione multimodale. Al contrario, ricostruire autoregressivamente la rappresentazione semantica delle immagini migliora costantemente la comprensione. In particolare, osserviamo che anche quando ai modelli vengono forniti in input feature immagine continue, essi possono ricostruire efficacemente token semantici discreti, ottenendo miglioramenti stabili e consistenti su un'ampia gamma di benchmark di comprensione multimodale. Il nostro approccio fornisce significativi guadagni di prestazioni su diverse scale di dati (556k-2M) e tipi di backbone LLM. Nello specifico, ASVR migliora LLaVA-1.5 del 5% nei punteggi medi su 14 benchmark multimodali. Il codice è disponibile all'indirizzo https://github.com/AlenjandroWang/ASVR.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.