Autoregressive semantische visuelle Rekonstruktion verbessert das Verständnis von VLMs

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

June 10, 2025

Autoren: Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

cs.AI

Zusammenfassung

Typische große Vision-Sprach-Modelle (LVLMs) wenden autoregressive Überwachung ausschließlich auf Textsequenzen an, ohne die visuelle Modalität vollständig in den Lernprozess zu integrieren. Dies führt zu drei wesentlichen Einschränkungen: (1) die Unfähigkeit, Bilder ohne begleitende Beschreibungen zu nutzen, (2) das Risiko, dass Beschreibungen kritische visuelle Details auslassen, und (3) die Herausforderung, dass bestimmte visuell zentrierte Inhalte nicht angemessen durch Text vermittelt werden können. Infolgedessen priorisieren aktuelle LVLMs oft die Ausrichtung von Vision zu Sprache, während feinkörnige visuelle Informationen möglicherweise übersehen werden. Während einige frühere Arbeiten autoregressive Bildgeneration untersucht haben, bleibt die effektive Nutzung autoregressiver visueller Überwachung zur Verbesserung des Bildverständnisses eine offene Herausforderung. In diesem Artikel stellen wir Autoregressive Semantic Visual Reconstruction (ASVR) vor, das das gemeinsame Lernen von visuellen und textuellen Modalitäten innerhalb eines einheitlichen autoregressiven Rahmens ermöglicht. Wir zeigen, dass die autoregressive Rekonstruktion des rohen visuellen Erscheinungsbilds von Bildern das multimodale Verständnis nicht verbessert und es sogar beeinträchtigen kann. Im Gegensatz dazu verbessert die autoregressive Rekonstruktion der semantischen Darstellung von Bildern das Verständnis konsequent. Bemerkenswerterweise stellen wir fest, dass Modelle selbst bei kontinuierlichen Bildmerkmalen als Eingabe effektiv diskrete semantische Tokens rekonstruieren können, was zu stabilen und konsistenten Verbesserungen über eine breite Palette von multimodalen Verständnis-Benchmarks führt. Unser Ansatz erzielt signifikante Leistungssteigerungen über verschiedene Datenskalen (556k-2M) und Arten von LLM-Backbones hinweg. Insbesondere verbessert ASVR LLaVA-1.5 um 5 % in den Durchschnittswerten über 14 multimodale Benchmarks. Der Code ist verfügbar unter https://github.com/AlenjandroWang/ASVR.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.