De-Diffusion rende il testo una potente interfaccia cross-modale.

De-Diffusion Makes Text a Strong Cross-Modal Interface

November 1, 2023

Autori: Chen Wei, Chenxi Liu, Siyuan Qiao, Zhishuai Zhang, Alan Yuille, Jiahui Yu

cs.AI

Abstract

Dimostriamo che il testo rappresenta un'interfaccia cross-modale robusta. Invece di affidarsi a embedding profondi per connettere immagini e linguaggio come rappresentazione dell'interfaccia, il nostro approccio rappresenta un'immagine come testo, da cui traiamo l'interpretabilità e la flessibilità intrinseche del linguaggio naturale. Utilizziamo un autoencoder che impiega un modello di diffusione testo-immagine pre-addestrato per la decodifica. L'encoder viene addestrato a trasformare un'immagine in ingresso in testo, che viene poi inserito nel decoder di diffusione testo-immagine fisso per ricostruire l'input originale — un processo che definiamo De-Diffusion. Gli esperimenti validano sia la precisione che la completezza del testo generato da De-Diffusion nel rappresentare immagini, rendendolo immediatamente utilizzabile da strumenti testo-immagine pronti all'uso e da LLM per una varietà di task multimodali. Ad esempio, un singolo modello De-Diffusion può generalizzare per fornire prompt trasferibili a diversi strumenti testo-immagine e raggiunge inoltre un nuovo stato dell'arte su task visione-linguaggio aperti, semplicemente fornendo esempi few-shot a grandi modelli linguistici.

English

We demonstrate text as a strong cross-modal interface. Rather than relying on deep embeddings to connect image and language as the interface representation, our approach represents an image as text, from which we enjoy the interpretability and flexibility inherent to natural language. We employ an autoencoder that uses a pre-trained text-to-image diffusion model for decoding. The encoder is trained to transform an input image into text, which is then fed into the fixed text-to-image diffusion decoder to reconstruct the original input -- a process we term De-Diffusion. Experiments validate both the precision and comprehensiveness of De-Diffusion text representing images, such that it can be readily ingested by off-the-shelf text-to-image tools and LLMs for diverse multi-modal tasks. For example, a single De-Diffusion model can generalize to provide transferable prompts for different text-to-image tools, and also achieves a new state of the art on open-ended vision-language tasks by simply prompting large language models with few-shot examples.