De-Difusión Convierte al Texto en una Interfaz Cross-Modal Potente
De-Diffusion Makes Text a Strong Cross-Modal Interface
November 1, 2023
Autores: Chen Wei, Chenxi Liu, Siyuan Qiao, Zhishuai Zhang, Alan Yuille, Jiahui Yu
cs.AI
Resumen
Demostramos que el texto es una interfaz multimodal robusta. En lugar de depender de incrustaciones profundas para conectar imágenes y lenguaje como representación de la interfaz, nuestro enfoque representa una imagen como texto, del cual aprovechamos la interpretabilidad y flexibilidad inherentes al lenguaje natural. Empleamos un autoencoder que utiliza un modelo de difusión texto-a-imagen preentrenado para la decodificación. El codificador se entrena para transformar una imagen de entrada en texto, el cual luego se introduce en el decodificador fijo de difusión texto-a-imagen para reconstruir la entrada original — un proceso que denominamos De-Difusión. Los experimentos validan tanto la precisión como la exhaustividad del texto generado por De-Difusión para representar imágenes, de modo que puede ser fácilmente procesado por herramientas texto-a-imagen estándar y modelos de lenguaje grandes (LLMs) para diversas tareas multimodales. Por ejemplo, un único modelo De-Difusión puede generalizarse para proporcionar indicaciones transferibles a diferentes herramientas texto-a-imagen, y también alcanza un nuevo estado del arte en tareas abiertas de visión y lenguaje simplemente utilizando ejemplos de pocos disparos con modelos de lenguaje grandes.
English
We demonstrate text as a strong cross-modal interface. Rather than relying on
deep embeddings to connect image and language as the interface representation,
our approach represents an image as text, from which we enjoy the
interpretability and flexibility inherent to natural language. We employ an
autoencoder that uses a pre-trained text-to-image diffusion model for decoding.
The encoder is trained to transform an input image into text, which is then fed
into the fixed text-to-image diffusion decoder to reconstruct the original
input -- a process we term De-Diffusion. Experiments validate both the
precision and comprehensiveness of De-Diffusion text representing images, such
that it can be readily ingested by off-the-shelf text-to-image tools and LLMs
for diverse multi-modal tasks. For example, a single De-Diffusion model can
generalize to provide transferable prompts for different text-to-image tools,
and also achieves a new state of the art on open-ended vision-language tasks by
simply prompting large language models with few-shot examples.