La reconstruction visuelle sémantique autorégressive améliore la compréhension des modèles de langage visuel

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

June 10, 2025

Auteurs: Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

cs.AI

Résumé

Les grands modèles vision-langage (LVLMs) appliquent généralement une supervision autorégressive uniquement aux séquences textuelles, sans intégrer pleinement la modalité visuelle dans le processus d'apprentissage. Cela entraîne trois limitations principales : (1) une incapacité à utiliser des images sans légendes accompagnantes, (2) le risque que les légendes omettent des détails visuels critiques, et (3) le défi que certains contenus centrés sur la vision ne peuvent être adéquatement transmis par le texte. En conséquence, les LVLMs actuels privilégient souvent l'alignement vision-langage tout en négligeant potentiellement des informations visuelles fines. Bien que certains travaux antérieurs aient exploré la génération d'images autorégressive, exploiter efficacement la supervision visuelle autorégressive pour améliorer la compréhension des images reste un défi ouvert. Dans cet article, nous introduisons la Reconstruction Visuelle Sémantique Autorégressive (ASVR), qui permet un apprentissage conjoint des modalités visuelles et textuelles dans un cadre autorégressif unifié. Nous montrons que la reconstruction autorégressive de l'apparence visuelle brute des images n'améliore pas et peut même nuire à la compréhension multimodale. En revanche, la reconstruction autorégressive de la représentation sémantique des images améliore systématiquement la compréhension. Notamment, nous constatons que même lorsque les modèles reçoivent des caractéristiques d'images continues en entrée, ils peuvent reconstruire efficacement des jetons sémantiques discrets, entraînant des améliorations stables et cohérentes sur une large gamme de benchmarks de compréhension multimodale. Notre approche apporte des gains de performance significatifs sur différentes échelles de données (556k-2M) et types de modèles de langage (LLM). Plus précisément, ASVR améliore LLaVA-1.5 de 5 % en scores moyens sur 14 benchmarks multimodaux. Le code est disponible à l'adresse https://github.com/AlenjandroWang/ASVR.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.