Vision-Language-Vision Auto-Encoder: Schaalbare Kennisdistillatie vanuit Diffusiemodellen

Vision-Language-Vision Auto-Encoder: Scalable Knowledge Distillation from Diffusion Models

July 9, 2025

Auteurs: Tiezheng Zhang, Yitong Li, Yu-cheng Chou, Jieneng Chen, Alan Yuille, Chen Wei, Junfei Xiao

cs.AI

Samenvatting

Het ontwikkelen van state-of-the-art Vision-Language Models (VLMs) met sterke captioning-capaciteiten vereist doorgaans training op miljarden hoogwaardige afbeelding-tekstparen, wat miljoenen GPU-uren vergt. Dit artikel introduceert het Vision-Language-Vision (VLV) auto-encoder framework, dat strategisch gebruikmaakt van belangrijke vooraf getrainde componenten: een vision-encoder, de decoder van een Text-to-Image (T2I) diffusiemodel, en vervolgens een Large Language Model (LLM). Specifiek creëren we een informatiebottleneck door de taalrepresentatieruimte te regulariseren, wat wordt bereikt door de vooraf getrainde T2I diffusiedecoder te bevriezen. Onze VLV-pipeline destilleert effectief kennis uit het tekst-geconditioneerde diffusiemodel met behulp van continue embeddings, wat een uitgebreid semantisch begrip aantoont via hoogwaardige reconstructies. Bovendien construeren we een state-of-the-art (SoTA) captioner die vergelijkbaar is met toonaangevende modellen zoals GPT-4o en Gemini 2.0 Flash, door een vooraf getraind LLM te finetunen om de tussenliggende taalrepresentaties te decoderen in gedetailleerde beschrijvingen. Onze methode toont uitzonderlijke kostenefficiëntie en vermindert de databehoeften aanzienlijk; door voornamelijk gebruik te maken van eenduidige afbeeldingen voor training en het nut van bestaande vooraf getrainde modellen (image-encoder, T2I diffusiemodel en LLM) te maximaliseren, omzeilt het de noodzaak van enorme gepaarde afbeelding-tekst datasets, waardoor de totale trainingskosten onder $1.000 USD blijven.

English

Building state-of-the-art Vision-Language Models (VLMs) with strong captioning capabilities typically necessitates training on billions of high-quality image-text pairs, requiring millions of GPU hours. This paper introduces the Vision-Language-Vision (VLV) auto-encoder framework, which strategically leverages key pretrained components: a vision encoder, the decoder of a Text-to-Image (T2I) diffusion model, and subsequently, a Large Language Model (LLM). Specifically, we establish an information bottleneck by regularizing the language representation space, achieved through freezing the pretrained T2I diffusion decoder. Our VLV pipeline effectively distills knowledge from the text-conditioned diffusion model using continuous embeddings, demonstrating comprehensive semantic understanding via high-quality reconstructions. Furthermore, by fine-tuning a pretrained LLM to decode the intermediate language representations into detailed descriptions, we construct a state-of-the-art (SoTA) captioner comparable to leading models like GPT-4o and Gemini 2.0 Flash. Our method demonstrates exceptional cost-efficiency and significantly reduces data requirements; by primarily utilizing single-modal images for training and maximizing the utility of existing pretrained models (image encoder, T2I diffusion model, and LLM), it circumvents the need for massive paired image-text datasets, keeping the total training expenditure under $1,000 USD.