Моделям генерации изображений по тексту требуется меньше от текстовых кодеров, чем вы думаете.

Аннотация

Модели генерации изображений по тексту используют текстовые подсказки (prompts) в качестве основного интерфейса взаимодействия с намерениями человека. Подсказки кодируются текстовым энкодером в эмбеддинги, которые обусловливают процесс генерации изображения. Помимо значений отдельных токенов, текстовые эмбеддинги кодируют контекстную информацию по всей подсказке, такую как композициональность и связывание атрибутов. Однако остаётся малоизученным, действительно ли модели изображений используют эту более богатую информацию. Здесь мы рассматриваем вопрос: какие аспекты текстового представления существенны для генерации изображений? Мы показываем, что модели генерации изображений на основе диффузионных трансформеров обычно полагаются только на два относительно простых аспекта текстовых представлений: (i) объединение соседних токенов в представление слова для слов, состоящих из нескольких токенов, и (ii) порядок слов, который запечатлевается позиционным эмбеддингом текстового энкодера. Для демонстрации этого мы конструируем новый текстовый эмбеддинг, который кодирует только значения отдельных слов и их порядок, но лишён какой-либо контекстной информации о всей подсказке. Мы обнаруживаем, что этого представления в виде набора слов с позиционными метками достаточно для успешного управления генерацией изображений, обеспечивая визуальное качество и текстовую точность, сопоставимые с генерацией на основе полного текстового эмбеддинга. Это демонстрирует, что, вопреки распространённому мнению, модели генерации изображений по тексту часто не используют богатую информацию, закодированную в текстовом эмбеддинге, помимо значений отдельных слов и порядка слов. Вместо этого декодирование сложных лингвистических структур выполняет сама модель изображения. Веб-страница проекта: https://nsping13.github.io/contextless-TTI/

English

Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/