Text-zu-Bild-Modelle benötigen weniger von Text-Encodern als gedacht.

Zusammenfassung

Text-zu-Bild-Modelle verwenden Textaufforderungen als primäre Schnittstelle zur menschlichen Absicht. Diese Aufforderungen werden von einem Text-Encoder in Einbettungen (Embeddings) kodiert, die den Bilderzeugungsprozess steuern. Über die Bedeutung einzelner Token hinaus kodieren Texteinbettungen kontextuelle Informationen über die gesamte Aufforderung, wie etwa Kompositionalität und Attributsbindung. Es ist jedoch noch unzureichend erforscht, ob Bildmodelle diese reichhaltigeren Informationen tatsächlich nutzen. Hier gehen wir der Frage nach: Welche Aspekte der Textrepräsentation sind für die Bilderzeugung essenziell? Wir zeigen, dass auf Diffusionstransformatoren basierende Text-zu-Bild-Modelle üblicherweise nur auf zwei relativ einfache Aspekte der Textrepräsentation angewiesen sind: (i) die Zusammenführung benachbarter Token zu einer Wortrepräsentation für Wörter, die sich über mehrere Token erstrecken, und (ii) die Wortreihenfolge, die durch die Positionskodierung des Text-Encoders eingeprägt wird. Um dies zu belegen, konstruieren wir eine neue Texteinbettung, die nur die Bedeutung einzelner Wörter und deren Reihenfolge kodiert, jedoch keine kontextuellen Informationen über die gesamte Aufforderung enthält. Wir stellen fest, dass diese Darstellung als Beutel positionsmarkierter Wörter ausreicht, um die Bilderzeugung erfolgreich zu steuern, wobei eine visuelle Qualität und Texttreue erreicht wird, die mit der durch vollständige Texteinbettung gesteuerten Erzeugung vergleichbar ist. Dies zeigt, dass Text-zu-Bild-Modelle entgegen der allgemeinen Annahme oft nicht die reichhaltigen Informationen nutzen, die in der Texteinbettung über die Bedeutung einzelner Wörter und die Wortreihenfolge hinaus kodiert sind. Stattdessen wird das Dekodieren komplexer linguistischer Strukturen vom Bildmodell selbst durchgeführt. Projektwebseite: https://nsping13.github.io/contextless-TTI/

English

Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/