A De-Difusão Torna o Texto uma Interface Intermodal Forte

De-Diffusion Makes Text a Strong Cross-Modal Interface

November 1, 2023

Autores: Chen Wei, Chenxi Liu, Siyuan Qiao, Zhishuai Zhang, Alan Yuille, Jiahui Yu

cs.AI

Resumo

Demonstramos o texto como uma interface multimodal robusta. Em vez de depender de embeddings profundos para conectar imagem e linguagem como representação da interface, nossa abordagem representa uma imagem como texto, aproveitando a interpretabilidade e flexibilidade inerentes à linguagem natural. Empregamos um autoencoder que utiliza um modelo de difusão texto-para-imagem pré-treinado para decodificação. O codificador é treinado para transformar uma imagem de entrada em texto, que é então alimentado no decodificador de difusão texto-para-imagem fixo para reconstruir a entrada original — um processo que denominamos De-Difusão. Experimentos validam tanto a precisão quanto a abrangência do texto de De-Difusão na representação de imagens, de modo que ele pode ser facilmente processado por ferramentas texto-para-imagem prontas para uso e LLMs para diversas tarefas multimodais. Por exemplo, um único modelo de De-Difusão pode generalizar para fornecer prompts transferíveis para diferentes ferramentas texto-para-imagem e também alcança um novo estado da arte em tarefas abertas de visão e linguagem simplesmente ao fornecer exemplos few-shot para grandes modelos de linguagem.

English

We demonstrate text as a strong cross-modal interface. Rather than relying on deep embeddings to connect image and language as the interface representation, our approach represents an image as text, from which we enjoy the interpretability and flexibility inherent to natural language. We employ an autoencoder that uses a pre-trained text-to-image diffusion model for decoding. The encoder is trained to transform an input image into text, which is then fed into the fixed text-to-image diffusion decoder to reconstruct the original input -- a process we term De-Diffusion. Experiments validate both the precision and comprehensiveness of De-Diffusion text representing images, such that it can be readily ingested by off-the-shelf text-to-image tools and LLMs for diverse multi-modal tasks. For example, a single De-Diffusion model can generalize to provide transferable prompts for different text-to-image tools, and also achieves a new state of the art on open-ended vision-language tasks by simply prompting large language models with few-shot examples.