Расширение промптов для адаптивной генерации текста в изображения

Prompt Expansion for Adaptive Text-to-Image Generation

December 27, 2023

Авторы: Siddhartha Datta, Alexander Ku, Deepak Ramachandran, Peter Anderson

cs.AI

Аннотация

Модели генерации изображений по тексту обладают мощными возможностями, но их использование сопряжено с трудностями. Пользователи создают специфические запросы для получения более качественных изображений, хотя результаты могут быть повторяющимися. В данной статье предлагается фреймворк Prompt Expansion, который помогает пользователям генерировать высококачественные и разнообразные изображения с меньшими усилиями. Модель Prompt Expansion принимает текстовый запрос на вход и выводит набор расширенных текстовых подсказок, оптимизированных таким образом, что при передаче в модель генерации изображений по тексту создается более широкий спектр привлекательных изображений. Мы провели исследование с участием людей, которое показало, что изображения, сгенерированные с использованием Prompt Expansion, более эстетичны и разнообразны по сравнению с результатами базовых методов. В целом, статья представляет новый и эффективный подход к улучшению опыта генерации изображений по тексту.

English

Text-to-image generation models are powerful but difficult to use. Users craft specific prompts to get better images, though the images can be repetitive. This paper proposes a Prompt Expansion framework that helps users generate high-quality, diverse images with less effort. The Prompt Expansion model takes a text query as input and outputs a set of expanded text prompts that are optimized such that when passed to a text-to-image model, generates a wider variety of appealing images. We conduct a human evaluation study that shows that images generated through Prompt Expansion are more aesthetically pleasing and diverse than those generated by baseline methods. Overall, this paper presents a novel and effective approach to improving the text-to-image generation experience.