La dé-diffusion transforme le texte en une interface intermodale puissante

De-Diffusion Makes Text a Strong Cross-Modal Interface

November 1, 2023

Auteurs: Chen Wei, Chenxi Liu, Siyuan Qiao, Zhishuai Zhang, Alan Yuille, Jiahui Yu

cs.AI

Résumé

Nous démontrons que le texte constitue une interface intermodale puissante. Plutôt que de s'appuyer sur des embeddings profonds pour connecter l'image et le langage comme représentation d'interface, notre approche représente une image sous forme de texte, ce qui nous permet de bénéficier de l'interprétabilité et de la flexibilité inhérentes au langage naturel. Nous utilisons un autoencodeur qui emploie un modèle de diffusion texte-image pré-entraîné pour le décodage. L'encodeur est entraîné à transformer une image d'entrée en texte, qui est ensuite introduit dans le décodeur de diffusion texte-image fixe pour reconstruire l'entrée originale - un processus que nous appelons Dé-Diffusion. Les expériences valident à la fois la précision et l'exhaustivité du texte de Dé-Diffusion pour représenter les images, de sorte qu'il peut être facilement utilisé par des outils texte-image prêts à l'emploi et des modèles de langage massifs (LLMs) pour diverses tâches multimodales. Par exemple, un seul modèle de Dé-Diffusion peut généraliser pour fournir des prompts transférables à différents outils texte-image, et établit également un nouvel état de l'art sur des tâches vision-langage ouvertes en utilisant simplement des exemples few-shot pour guider les grands modèles de langage.

English

We demonstrate text as a strong cross-modal interface. Rather than relying on deep embeddings to connect image and language as the interface representation, our approach represents an image as text, from which we enjoy the interpretability and flexibility inherent to natural language. We employ an autoencoder that uses a pre-trained text-to-image diffusion model for decoding. The encoder is trained to transform an input image into text, which is then fed into the fixed text-to-image diffusion decoder to reconstruct the original input -- a process we term De-Diffusion. Experiments validate both the precision and comprehensiveness of De-Diffusion text representing images, such that it can be readily ingested by off-the-shelf text-to-image tools and LLMs for diverse multi-modal tasks. For example, a single De-Diffusion model can generalize to provide transferable prompts for different text-to-image tools, and also achieves a new state of the art on open-ended vision-language tasks by simply prompting large language models with few-shot examples.