Autoencoder Visión-Lenguaje-Visión: Distilación Escalable de Conocimiento a partir de Modelos de Difusión

Vision-Language-Vision Auto-Encoder: Scalable Knowledge Distillation from Diffusion Models

July 9, 2025

Autores: Tiezheng Zhang, Yitong Li, Yu-cheng Chou, Jieneng Chen, Alan Yuille, Chen Wei, Junfei Xiao

cs.AI

Resumen

La construcción de modelos de visión-lenguaje (VLMs) de vanguardia con capacidades sólidas de generación de descripciones generalmente requiere entrenamiento con miles de millones de pares de imágenes-texto de alta calidad, lo que demanda millones de horas de GPU. Este artículo presenta el marco de trabajo del auto-codificador Visión-Lenguaje-Visión (VLV), que aprovecha estratégicamente componentes preentrenados clave: un codificador de visión, el decodificador de un modelo de difusión de Texto a Imagen (T2I), y posteriormente, un Modelo de Lenguaje Grande (LLM). Específicamente, establecemos un cuello de botella de información mediante la regularización del espacio de representación del lenguaje, logrado mediante la congelación del decodificador preentrenado del modelo de difusión T2I. Nuestra canalización VLV destila efectivamente el conocimiento del modelo de difusión condicionado por texto utilizando embeddings continuos, demostrando una comprensión semántica integral a través de reconstrucciones de alta calidad. Además, al ajustar finamente un LLM preentrenado para decodificar las representaciones intermedias del lenguaje en descripciones detalladas, construimos un generador de descripciones de vanguardia (SoTA) comparable a modelos líderes como GPT-4o y Gemini 2.0 Flash. Nuestro método demuestra una excepcional eficiencia en costos y reduce significativamente los requisitos de datos; al utilizar principalmente imágenes unimodales para el entrenamiento y maximizar la utilidad de modelos preentrenados existentes (codificador de imágenes, modelo de difusión T2I y LLM), evita la necesidad de grandes conjuntos de datos de pares imagen-texto, manteniendo el gasto total de entrenamiento por debajo de los $1,000 USD.

English

Building state-of-the-art Vision-Language Models (VLMs) with strong captioning capabilities typically necessitates training on billions of high-quality image-text pairs, requiring millions of GPU hours. This paper introduces the Vision-Language-Vision (VLV) auto-encoder framework, which strategically leverages key pretrained components: a vision encoder, the decoder of a Text-to-Image (T2I) diffusion model, and subsequently, a Large Language Model (LLM). Specifically, we establish an information bottleneck by regularizing the language representation space, achieved through freezing the pretrained T2I diffusion decoder. Our VLV pipeline effectively distills knowledge from the text-conditioned diffusion model using continuous embeddings, demonstrating comprehensive semantic understanding via high-quality reconstructions. Furthermore, by fine-tuning a pretrained LLM to decode the intermediate language representations into detailed descriptions, we construct a state-of-the-art (SoTA) captioner comparable to leading models like GPT-4o and Gemini 2.0 Flash. Our method demonstrates exceptional cost-efficiency and significantly reduces data requirements; by primarily utilizing single-modal images for training and maximizing the utility of existing pretrained models (image encoder, T2I diffusion model, and LLM), it circumvents the need for massive paired image-text datasets, keeping the total training expenditure under $1,000 USD.