Авторегрессивная семантическая визуальная реконструкция улучшает понимание в визуально-языковых моделях

Autoregressive Semantic Visual Reconstruction Helps VLMs Understand Better

June 10, 2025

Авторы: Dianyi Wang, Wei Song, Yikun Wang, Siyuan Wang, Kaicheng Yu, Zhongyu Wei, Jiaqi Wang

cs.AI

Аннотация

Типичные крупные модели, работающие с визуальными и языковыми данными (LVLMs), применяют авторегрессивное обучение исключительно к текстовым последовательностям, не полностью интегрируя визуальную модальность в процесс обучения. Это приводит к трем ключевым ограничениям: (1) невозможность использования изображений без сопроводительных подписей, (2) риск того, что подписи упускают важные визуальные детали, и (3) сложность адекватного передачи через текст контента, ориентированного на визуальное восприятие. В результате современные LVLMs часто сосредотачиваются на согласовании визуальных и языковых данных, потенциально упуская детализированную визуальную информацию. Хотя некоторые предыдущие работы исследовали авторегрессивную генерацию изображений, эффективное использование авторегрессивного визуального обучения для улучшения понимания изображений остается открытой задачей. В данной статье мы представляем метод Autoregressive Semantic Visual Reconstruction (ASVR), который позволяет совместно обучать визуальные и текстовые модальности в рамках единого авторегрессивного подхода. Мы показываем, что авторегрессивное восстановление исходного визуального вида изображений не улучшает, а иногда даже ухудшает мультимодальное понимание. В то же время авторегрессивное восстановление семантического представления изображений последовательно улучшает понимание. Примечательно, что даже когда модели получают на вход непрерывные визуальные признаки, они могут эффективно восстанавливать дискретные семантические токены, что приводит к стабильным и последовательным улучшениям на широком спектре мультимодальных тестов. Наш подход демонстрирует значительный прирост производительности на различных масштабах данных (556k–2M) и типах языковых моделей (LLM). В частности, ASVR улучшает LLaVA-1.5 на 5% по средним показателям на 14 мультимодальных тестах. Код доступен по адресу https://github.com/AlenjandroWang/ASVR.

English

Typical large vision-language models (LVLMs) apply autoregressive supervision solely to textual sequences, without fully incorporating the visual modality into the learning process. This results in three key limitations: (1) an inability to utilize images without accompanying captions, (2) the risk that captions omit critical visual details, and (3) the challenge that certain vision-centric content cannot be adequately conveyed through text. As a result, current LVLMs often prioritize vision-to-language alignment while potentially overlooking fine-grained visual information. While some prior works have explored autoregressive image generation, effectively leveraging autoregressive visual supervision to enhance image understanding remains an open challenge. In this paper, we introduce Autoregressive Semantic Visual Reconstruction (ASVR), which enables joint learning of visual and textual modalities within a unified autoregressive framework. We show that autoregressively reconstructing the raw visual appearance of images does not enhance and may even impair multimodal understanding. In contrast, autoregressively reconstructing the semantic representation of images consistently improves comprehension. Notably, we find that even when models are given continuous image features as input, they can effectively reconstruct discrete semantic tokens, resulting in stable and consistent improvements across a wide range of multimodal understanding benchmarks. Our approach delivers significant performance gains across varying data scales (556k-2M) and types of LLM bacbones. Specifically, ASVR improves LLaVA-1.5 by 5% in average scores across 14 multimodal benchmarks. The code is available at https://github.com/AlenjandroWang/ASVR.