Los modelos de texto a imagen necesitan menos de los codificadores de texto de lo que se cree.

Resumen

Los modelos de texto a imagen dependen de las indicaciones textuales como su interfaz principal para capturar la intención humana. Estas indicaciones son codificadas por un codificador de texto en embeddings que condicionan el proceso de generación de imágenes. Más allá del significado de tokens individuales, los embeddings de texto codifican información contextual en toda la indicación, como la composicionalidad y la vinculación de atributos. Sin embargo, aún no se ha explorado suficientemente si los modelos de imagen realmente aprovechan esta información más rica. Aquí abordamos la pregunta: ¿Qué aspectos de la representación del texto son esenciales para la generación de imágenes? Demostramos que los modelos de texto a imagen basados en transformadores de difusión suelen depender solo de dos aspectos relativamente simples de las representaciones textuales: (i) la fusión de tokens adyacentes en una representación de palabra, para palabras que abarcan múltiples tokens, y (ii) el orden de las palabras, que queda impreso mediante la incrustación posicional del codificador de texto. Para demostrarlo, construimos un nuevo embedding de texto que codifica únicamente los significados individuales de las palabras y su orden, pero carece de cualquier información contextual sobre la indicación completa. Encontramos que esta representación de bolsa de palabras etiquetadas por posición es suficiente para guiar con éxito la generación de imágenes, logrando una calidad visual y una fidelidad textual equiparables a las generaciones guiadas por embeddings de texto completos. Esto demuestra que, contrariamente a lo que se cree comúnmente, los modelos de texto a imagen a menudo no utilizan la información rica codificada en el embedding de texto más allá de los significados individuales de las palabras y su orden. En cambio, la decodificación de estructuras lingüísticas complejas la realiza el propio modelo de imagen. Página web del proyecto: https://nsping13.github.io/contextless-TTI/

English

Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/