La Reconstrucción Visual Semántica Autoregresiva Ayuda a los VLMs a Comprender Mejor

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

June 10, 2025

Autores: Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

cs.AI

Resumen

Los modelos grandes de visión y lenguaje (LVLMs, por sus siglas en inglés) típicamente aplican supervisión autorregresiva únicamente a secuencias textuales, sin incorporar plenamente la modalidad visual en el proceso de aprendizaje. Esto resulta en tres limitaciones clave: (1) la incapacidad de utilizar imágenes sin subtítulos acompañantes, (2) el riesgo de que los subtítulos omitan detalles visuales críticos, y (3) el desafío de que cierto contenido centrado en la visión no pueda transmitirse adecuadamente a través del texto. Como resultado, los LVLMs actuales suelen priorizar la alineación visión-lenguaje, mientras que potencialmente pasan por alto información visual detallada. Aunque algunos trabajos previos han explorado la generación autorregresiva de imágenes, aprovechar eficazmente la supervisión visual autorregresiva para mejorar la comprensión de imágenes sigue siendo un desafío abierto. En este artículo, presentamos la Reconstrucción Visual Semántica Autorregresiva (ASVR, por sus siglas en inglés), que permite el aprendizaje conjunto de las modalidades visual y textual dentro de un marco autorregresivo unificado. Demostramos que reconstruir autorregresivamente la apariencia visual cruda de las imágenes no mejora e incluso puede perjudicar la comprensión multimodal. En contraste, reconstruir autorregresivamente la representación semántica de las imágenes mejora consistentemente la comprensión. Notablemente, encontramos que incluso cuando los modelos reciben características de imagen continuas como entrada, pueden reconstruir eficazmente tokens semánticos discretos, lo que resulta en mejoras estables y consistentes en una amplia gama de benchmarks de comprensión multimodal. Nuestro enfoque ofrece ganancias significativas de rendimiento en diversas escalas de datos (556k-2M) y tipos de backbones de LLM. Específicamente, ASVR mejora LLaVA-1.5 en un 5% en las puntuaciones promedio en 14 benchmarks multimodales. El código está disponible en https://github.com/AlenjandroWang/ASVR.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.