Автокодировщик "Зрение-Язык-Зрение": Масштабируемое извлечение знаний из моделей диффузии

Vision-Language-Vision Auto-Encoder: Scalable Knowledge Distillation from Diffusion Models

July 9, 2025

Авторы: Tiezheng Zhang, Yitong Li, Yu-cheng Chou, Jieneng Chen, Alan Yuille, Chen Wei, Junfei Xiao

cs.AI

Аннотация

Создание современных моделей Vision-Language (VLMs) с мощными возможностями генерации подписей обычно требует обучения на миллиардах высококачественных пар изображение-текст, что занимает миллионы часов работы GPU. В данной статье представлена структура Vision-Language-Vision (VLV) автокодировщика, которая стратегически использует ключевые предобученные компоненты: визуальный кодировщик, декодер модели Text-to-Image (T2I) диффузии и, впоследствии, крупную языковую модель (LLM). В частности, мы создаем информационное узкое место, регулируя пространство языковых представлений, что достигается за счет заморозки предобученного декодера T2I диффузии. Наш VLV конвейер эффективно извлекает знания из текстово-обусловленной диффузионной модели с использованием непрерывных эмбеддингов, демонстрируя полное семантическое понимание через высококачественные реконструкции. Кроме того, путем тонкой настройки предобученной LLM для декодирования промежуточных языковых представлений в детальные описания, мы создаем современный генератор подписей, сопоставимый с ведущими моделями, такими как GPT-4o и Gemini 2.0 Flash. Наш метод демонстрирует исключительную экономическую эффективность и значительно снижает требования к данным; за счет преимущественного использования одномодальных изображений для обучения и максимального использования существующих предобученных моделей (визуальный кодировщик, T2I диффузионная модель и LLM), он позволяет избежать необходимости в огромных наборах пар изображение-текст, сохраняя общие затраты на обучение ниже 1000 долларов США.

English

Building state-of-the-art Vision-Language Models (VLMs) with strong captioning capabilities typically necessitates training on billions of high-quality image-text pairs, requiring millions of GPU hours. This paper introduces the Vision-Language-Vision (VLV) auto-encoder framework, which strategically leverages key pretrained components: a vision encoder, the decoder of a Text-to-Image (T2I) diffusion model, and subsequently, a Large Language Model (LLM). Specifically, we establish an information bottleneck by regularizing the language representation space, achieved through freezing the pretrained T2I diffusion decoder. Our VLV pipeline effectively distills knowledge from the text-conditioned diffusion model using continuous embeddings, demonstrating comprehensive semantic understanding via high-quality reconstructions. Furthermore, by fine-tuning a pretrained LLM to decode the intermediate language representations into detailed descriptions, we construct a state-of-the-art (SoTA) captioner comparable to leading models like GPT-4o and Gemini 2.0 Flash. Our method demonstrates exceptional cost-efficiency and significantly reduces data requirements; by primarily utilizing single-modal images for training and maximizing the utility of existing pretrained models (image encoder, T2I diffusion model, and LLM), it circumvents the need for massive paired image-text datasets, keeping the total training expenditure under $1,000 USD.