Auto-encodeur Vision-Langage-Vision : Distillation de connaissances évolutive à partir de modèles de diffusion

Vision-Language-Vision Auto-Encoder: Scalable Knowledge Distillation from Diffusion Models

July 9, 2025

papers.authors: Tiezheng Zhang, Yitong Li, Yu-cheng Chou, Jieneng Chen, Alan Yuille, Chen Wei, Junfei Xiao

cs.AI

papers.abstract

La construction de modèles vision-langage (VLMs) de pointe dotés de solides capacités de génération de légendes nécessite généralement un entraînement sur des milliards de paires image-texte de haute qualité, exigeant des millions d'heures de calcul sur GPU. Cet article présente le cadre auto-encodeur Vision-Langage-Vision (VLV), qui exploite stratégiquement des composants pré-entraînés clés : un encodeur visuel, le décodeur d'un modèle de diffusion Texte-à-Image (T2I), et ensuite, un Grand Modèle de Langage (LLM). Plus précisément, nous établissons un goulot d'étranglement d'information en régularisant l'espace de représentation linguistique, obtenu par le gel du décodeur du modèle de diffusion T2I pré-entraîné. Notre pipeline VLV distille efficacement les connaissances du modèle de diffusion conditionné par le texte en utilisant des embeddings continus, démontrant une compréhension sémantique approfondie grâce à des reconstructions de haute qualité. De plus, en affinant un LLM pré-entraîné pour décoder les représentations linguistiques intermédiaires en descriptions détaillées, nous construisons un générateur de légendes de pointe comparable aux modèles leaders comme GPT-4o et Gemini 2.0 Flash. Notre méthode démontre une efficacité exceptionnelle en termes de coût et réduit considérablement les besoins en données ; en utilisant principalement des images unimodales pour l'entraînement et en maximisant l'utilité des modèles pré-entraînés existants (encodeur d'image, modèle de diffusion T2I et LLM), elle évite la nécessité de vastes ensembles de données image-texte appariés, maintenant le coût total de l'entraînement en dessous de 1 000 USD.

English

Building state-of-the-art Vision-Language Models (VLMs) with strong captioning capabilities typically necessitates training on billions of high-quality image-text pairs, requiring millions of GPU hours. This paper introduces the Vision-Language-Vision (VLV) auto-encoder framework, which strategically leverages key pretrained components: a vision encoder, the decoder of a Text-to-Image (T2I) diffusion model, and subsequently, a Large Language Model (LLM). Specifically, we establish an information bottleneck by regularizing the language representation space, achieved through freezing the pretrained T2I diffusion decoder. Our VLV pipeline effectively distills knowledge from the text-conditioned diffusion model using continuous embeddings, demonstrating comprehensive semantic understanding via high-quality reconstructions. Furthermore, by fine-tuning a pretrained LLM to decode the intermediate language representations into detailed descriptions, we construct a state-of-the-art (SoTA) captioner comparable to leading models like GPT-4o and Gemini 2.0 Flash. Our method demonstrates exceptional cost-efficiency and significantly reduces data requirements; by primarily utilizing single-modal images for training and maximizing the utility of existing pretrained models (image encoder, T2I diffusion model, and LLM), it circumvents the need for massive paired image-text datasets, keeping the total training expenditure under $1,000 USD.