Modelos de Texto-para-Imagem Exigem Menos dos Codificadores de Texto do Que Você Pensa

Resumo

Modelos de texto para imagem dependem de prompts de texto como sua interface principal para a intenção humana. Os prompts são codificados por um codificador de texto em embeddings que condicionam o processo de geração de imagem. Além dos significados individuais dos tokens, os embeddings de texto codificam informações contextuais em todo o prompt, como composicionalidade e vinculação de atributos. No entanto, se os modelos de imagem realmente exploram essas informações mais ricas permanece pouco explorado. Aqui, abordamos a questão: Quais aspectos da representação textual são essenciais para a geração de imagens? Mostramos que modelos baseados em transformadores de difusão texto-imagem geralmente dependem apenas de dois aspectos relativamente simples das representações textuais: (i) a fusão de tokens adjacentes em uma representação de palavra, para palavras que abrangem múltiplos tokens, e (ii) a ordem das palavras, que é impressa pelo embedding posicional do codificador de texto. Para demonstrar isso, construímos um novo embedding de texto que codifica apenas os significados individuais das palavras e sua ordem, mas carece de qualquer informação contextual sobre o prompt completo. Descobrimos que essa representação de saco de palavras com posição marcada é suficiente para guiar com sucesso a geração de imagens, alcançando qualidade visual e fidelidade ao texto comparáveis às da geração guiada por embeddings de texto completo. Isso demonstra que, contrariamente à crença comum, os modelos de texto para imagem geralmente não utilizam as informações ricas codificadas no embedding de texto além dos significados individuais das palavras e da ordem das palavras. Em vez disso, a decodificação de estruturas linguísticas complexas é realizada pelo próprio modelo de imagem. Página do projeto: https://nsping13.github.io/contextless-TTI/

English

Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/