De-Diffusion macht Text zu einer starken cross-modalen Schnittstelle.
De-Diffusion Makes Text a Strong Cross-Modal Interface
November 1, 2023
Autoren: Chen Wei, Chenxi Liu, Siyuan Qiao, Zhishuai Zhang, Alan Yuille, Jiahui Yu
cs.AI
Zusammenfassung
Wir demonstrieren Text als eine starke cross-modale Schnittstelle. Anstatt uns auf tiefe Embeddings zu verlassen, um Bild und Sprache als Schnittstellendarstellung zu verbinden, repräsentiert unser Ansatz ein Bild als Text, wodurch wir die Interpretierbarkeit und Flexibilität nutzen können, die der natürlichen Sprache innewohnen. Wir verwenden einen Autoencoder, der ein vortrainiertes Text-zu-Bild-Diffusionsmodell für die Decodierung nutzt. Der Encoder wird trainiert, um ein Eingabebild in Text zu transformieren, der dann in den festen Text-zu-Bild-Diffusions-Decoder eingespeist wird, um das ursprüngliche Eingabebild zu rekonstruieren – einen Prozess, den wir als De-Diffusion bezeichnen. Experimente bestätigen sowohl die Präzision als auch die Vollständigkeit des De-Diffusion-Texts bei der Darstellung von Bildern, sodass er problemlos von Standard-Text-zu-Bild-Tools und großen Sprachmodellen (LLMs) für diverse multimodale Aufgaben verwendet werden kann. Beispielsweise kann ein einzelnes De-Diffusion-Modell generalisieren, um übertragbare Prompts für verschiedene Text-zu-Bild-Tools bereitzustellen, und erreicht auch einen neuen Stand der Technik bei offenen Vision-Sprache-Aufgaben, indem einfach große Sprachmodelle mit Few-Shot-Beispielen gepromptet werden.
English
We demonstrate text as a strong cross-modal interface. Rather than relying on
deep embeddings to connect image and language as the interface representation,
our approach represents an image as text, from which we enjoy the
interpretability and flexibility inherent to natural language. We employ an
autoencoder that uses a pre-trained text-to-image diffusion model for decoding.
The encoder is trained to transform an input image into text, which is then fed
into the fixed text-to-image diffusion decoder to reconstruct the original
input -- a process we term De-Diffusion. Experiments validate both the
precision and comprehensiveness of De-Diffusion text representing images, such
that it can be readily ingested by off-the-shelf text-to-image tools and LLMs
for diverse multi-modal tasks. For example, a single De-Diffusion model can
generalize to provide transferable prompts for different text-to-image tools,
and also achieves a new state of the art on open-ended vision-language tasks by
simply prompting large language models with few-shot examples.