Autoencoder Visão-Linguagem-Visão: Distilação Escalável de Conhecimento a partir de Modelos de Difusão

Vision-Language-Vision Auto-Encoder: Scalable Knowledge Distillation from Diffusion Models

July 9, 2025

Autores: Tiezheng Zhang, Yitong Li, Yu-cheng Chou, Jieneng Chen, Alan Yuille, Chen Wei, Junfei Xiao

cs.AI

Resumo

A construção de modelos de visão e linguagem (VLMs) de última geração com capacidades avançadas de geração de legendas geralmente exige o treinamento em bilhões de pares de imagem-texto de alta qualidade, demandando milhões de horas de GPU. Este artigo introduz o framework Vision-Language-Vision (VLV) autoencoder, que utiliza estrategicamente componentes pré-treinados essenciais: um codificador de visão, o decodificador de um modelo de difusão Text-to-Image (T2I) e, posteriormente, um Modelo de Linguagem de Grande Escala (LLM). Especificamente, estabelecemos um gargalo de informação ao regularizar o espaço de representação linguística, alcançado através do congelamento do decodificador pré-treinado do modelo de difusão T2I. Nosso pipeline VLV efetivamente destila conhecimento do modelo de difusão condicionado por texto utilizando embeddings contínuos, demonstrando compreensão semântica abrangente por meio de reconstruções de alta qualidade. Além disso, ao ajustar finamente um LLM pré-treinado para decodificar as representações linguísticas intermediárias em descrições detalhadas, construímos um gerador de legendas de última geração (SoTA) comparável a modelos líderes como GPT-4o e Gemini 2.0 Flash. Nosso método demonstra excepcional eficiência de custo e reduz significativamente os requisitos de dados; ao utilizar principalmente imagens unimodais para treinamento e maximizar a utilidade de modelos pré-treinados existentes (codificador de imagem, modelo de difusão T2I e LLM), ele contorna a necessidade de grandes conjuntos de dados de pares imagem-texto, mantendo o custo total de treinamento abaixo de US$ 1.000.

English

Building state-of-the-art Vision-Language Models (VLMs) with strong captioning capabilities typically necessitates training on billions of high-quality image-text pairs, requiring millions of GPU hours. This paper introduces the Vision-Language-Vision (VLV) auto-encoder framework, which strategically leverages key pretrained components: a vision encoder, the decoder of a Text-to-Image (T2I) diffusion model, and subsequently, a Large Language Model (LLM). Specifically, we establish an information bottleneck by regularizing the language representation space, achieved through freezing the pretrained T2I diffusion decoder. Our VLV pipeline effectively distills knowledge from the text-conditioned diffusion model using continuous embeddings, demonstrating comprehensive semantic understanding via high-quality reconstructions. Furthermore, by fine-tuning a pretrained LLM to decode the intermediate language representations into detailed descriptions, we construct a state-of-the-art (SoTA) captioner comparable to leading models like GPT-4o and Gemini 2.0 Flash. Our method demonstrates exceptional cost-efficiency and significantly reduces data requirements; by primarily utilizing single-modal images for training and maximizing the utility of existing pretrained models (image encoder, T2I diffusion model, and LLM), it circumvents the need for massive paired image-text datasets, keeping the total training expenditure under $1,000 USD.