Tekst-naar-beeldmodellen hebben minder nodig van tekstencoders dan je denkt

Samenvatting

Tekst-naar-beeldmodellen vertrouwen op tekstprompts als hun primaire interface voor menselijke intentie. Prompts worden door een tekstencoder gecodeerd in embeddings die het beeldgeneratieproces conditioneren. Naast individuele tokenbetekenissen coderen tekstembeddings contextuele informatie over de volledige prompt, zoals compositionaliteit en attribuutbinding. Of beeldmodellen deze rijkere informatie daadwerkelijk benutten, blijft echter onderbelicht. Hier behandelen we de vraag: welke aspecten van tekstrepresentatie zijn essentieel voor beeldgeneratie? We tonen aan dat op diffusietransformator gebaseerde tekst-naar-beeldmodellen doorgaans slechts vertrouwen op twee relatief eenvoudige aspecten van tekstrepresentaties: (i) het samenvoegen van aangrenzende tokens tot een woordrepresentatie, voor woorden die meerdere tokens beslaan, en (ii) woordvolgorde, die wordt ingeprent door de positionele embedding van de tekstencoder. Om dit aan te tonen, construeren we een nieuwe tekstembedding die alleen individuele woordbetekenissen en -volgorde codeert, maar geen contextuele informatie over de volledige prompt bevat. We ontdekken dat deze 'bag of position-tagged words'-representatie voldoende is om beeldgeneratie succesvol te sturen, met een visuele kwaliteit en tekstgetrouwheid die gelijkwaardig zijn aan generatie gestuurd door volledige tekstembeddings. Dit toont aan dat, in tegenstelling tot wat vaak wordt aangenomen, tekst-naar-beeldmodellen vaak de rijke informatie in de tekstembedding niet gebruiken naast individuele woordbetekenissen en woordvolgorde. In plaats daarvan wordt het decoderen van complexe linguïstische structuren uitgevoerd door het beeldmodel zelf. Projectwebpagina: https://nsping13.github.io/contextless-TTI/

English

Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/