Expansão de Prompt para Geração Adaptativa de Texto para Imagem

Prompt Expansion for Adaptive Text-to-Image Generation

December 27, 2023

Autores: Siddhartha Datta, Alexander Ku, Deepak Ramachandran, Peter Anderson

cs.AI

Resumo

Modelos de geração de texto para imagem são poderosos, mas difíceis de usar. Os usuários elaboram prompts específicos para obter imagens melhores, embora as imagens possam ser repetitivas. Este artigo propõe uma estrutura de Expansão de Prompt que ajuda os usuários a gerar imagens de alta qualidade e diversificadas com menos esforço. O modelo de Expansão de Prompt recebe uma consulta de texto como entrada e produz um conjunto de prompts de texto expandidos que são otimizados para que, ao serem passados para um modelo de texto para imagem, gerem uma variedade maior de imagens atraentes. Realizamos um estudo de avaliação humana que mostra que as imagens geradas por meio da Expansão de Prompt são mais esteticamente agradáveis e diversificadas do que as geradas por métodos de linha de base. No geral, este artigo apresenta uma abordagem nova e eficaz para melhorar a experiência de geração de texto para imagem.

English

Text-to-image generation models are powerful but difficult to use. Users craft specific prompts to get better images, though the images can be repetitive. This paper proposes a Prompt Expansion framework that helps users generate high-quality, diverse images with less effort. The Prompt Expansion model takes a text query as input and outputs a set of expanded text prompts that are optimized such that when passed to a text-to-image model, generates a wider variety of appealing images. We conduct a human evaluation study that shows that images generated through Prompt Expansion are more aesthetically pleasing and diverse than those generated by baseline methods. Overall, this paper presents a novel and effective approach to improving the text-to-image generation experience.