Autoencoder Visione-Linguaggio-Visione: Distillazione Scalabile della Conoscenza dai Modelli di Diffusione

Vision-Language-Vision Auto-Encoder: Scalable Knowledge Distillation from Diffusion Models

July 9, 2025

Autori: Tiezheng Zhang, Yitong Li, Yu-cheng Chou, Jieneng Chen, Alan Yuille, Chen Wei, Junfei Xiao

cs.AI

Abstract

Costruire modelli Vision-Language (VLM) all'avanguardia con capacità di descrizione avanzate richiede tipicamente l'addestramento su miliardi di coppie immagine-testo di alta qualità, necessitando di milioni di ore di GPU. Questo articolo introduce il framework Vision-Language-Vision (VLV) auto-encoder, che sfrutta strategicamente componenti pre-addestrati chiave: un encoder visivo, il decoder di un modello di diffusione Text-to-Image (T2I) e, successivamente, un Large Language Model (LLM). Nello specifico, stabiliamo un collo di bottiglia informativo regolarizzando lo spazio di rappresentazione linguistica, ottenuto attraverso il congelamento del decoder pre-addestrato del modello di diffusione T2I. La nostra pipeline VLV distilla efficacemente la conoscenza dal modello di diffusione condizionato al testo utilizzando embedding continui, dimostrando una comprensione semantica completa attraverso ricostruzioni di alta qualità. Inoltre, ottimizzando un LLM pre-addestrato per decodificare le rappresentazioni linguistiche intermedie in descrizioni dettagliate, costruiamo un descrittore all'avanguardia (SoTA) paragonabile a modelli leader come GPT-4o e Gemini 2.0 Flash. Il nostro metodo dimostra un'eccellente efficienza in termini di costi e riduce significativamente i requisiti di dati; utilizzando principalmente immagini mono-modali per l'addestramento e massimizzando l'utilità dei modelli pre-addestrati esistenti (encoder di immagini, modello di diffusione T2I e LLM), evita la necessità di enormi dataset di coppie immagine-testo, mantenendo la spesa totale di addestramento sotto i 1.000 USD.

English

Building state-of-the-art Vision-Language Models (VLMs) with strong captioning capabilities typically necessitates training on billions of high-quality image-text pairs, requiring millions of GPU hours. This paper introduces the Vision-Language-Vision (VLV) auto-encoder framework, which strategically leverages key pretrained components: a vision encoder, the decoder of a Text-to-Image (T2I) diffusion model, and subsequently, a Large Language Model (LLM). Specifically, we establish an information bottleneck by regularizing the language representation space, achieved through freezing the pretrained T2I diffusion decoder. Our VLV pipeline effectively distills knowledge from the text-conditioned diffusion model using continuous embeddings, demonstrating comprehensive semantic understanding via high-quality reconstructions. Furthermore, by fine-tuning a pretrained LLM to decode the intermediate language representations into detailed descriptions, we construct a state-of-the-art (SoTA) captioner comparable to leading models like GPT-4o and Gemini 2.0 Flash. Our method demonstrates exceptional cost-efficiency and significantly reduces data requirements; by primarily utilizing single-modal images for training and maximizing the utility of existing pretrained models (image encoder, T2I diffusion model, and LLM), it circumvents the need for massive paired image-text datasets, keeping the total training expenditure under $1,000 USD.