Uma-Prompt-Uma-História: Geração de Texto-para-Imagem Consistente de Almoço-Grátis Usando um Único Prompt

One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

January 23, 2025

Autores: Tao Liu, Kai Wang, Senmao Li, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng

cs.AI

Resumo

Modelos de geração de texto para imagem podem criar imagens de alta qualidade a partir de sugestões de entrada. No entanto, eles têm dificuldade em manter a geração consistente de requisitos de preservação de identidade para contar histórias. As abordagens existentes para esse problema geralmente exigem treinamento extensivo em grandes conjuntos de dados ou modificações adicionais nas arquiteturas originais dos modelos. Isso limita sua aplicabilidade em diferentes domínios e configurações de modelos de difusão diversos. Neste artigo, observamos inicialmente a capacidade inerente dos modelos de linguagem, denominada consistência de contexto, para compreender a identidade por meio do contexto com uma única sugestão. Inspirados pela consistência de contexto inerente, propomos um método inovador, sem necessidade de treinamento, para geração consistente de texto para imagem (T2I), denominado "Um-Prompt-Uma-História" (1Prompt1Story). Nosso método 1Prompt1Story concatena todas as sugestões em uma única entrada para modelos de difusão T2I, preservando inicialmente as identidades dos personagens. Em seguida, refinamos o processo de geração usando duas técnicas inovadoras: Reponderação de Valor Singular e Atenção Cruzada Preservadora de Identidade, garantindo uma melhor alinhamento com a descrição de entrada para cada quadro. Em nossos experimentos, comparamos nosso método com várias abordagens existentes de geração consistente T2I para demonstrar sua eficácia por meio de métricas quantitativas e avaliações qualitativas. O código está disponível em https://github.com/byliutao/1Prompt1Story.

English

Text-to-image generation models can create high-quality images from input prompts. However, they struggle to support the consistent generation of identity-preserving requirements for storytelling. Existing approaches to this problem typically require extensive training in large datasets or additional modifications to the original model architectures. This limits their applicability across different domains and diverse diffusion model configurations. In this paper, we first observe the inherent capability of language models, coined context consistency, to comprehend identity through context with a single prompt. Drawing inspiration from the inherent context consistency, we propose a novel training-free method for consistent text-to-image (T2I) generation, termed "One-Prompt-One-Story" (1Prompt1Story). Our approach 1Prompt1Story concatenates all prompts into a single input for T2I diffusion models, initially preserving character identities. We then refine the generation process using two novel techniques: Singular-Value Reweighting and Identity-Preserving Cross-Attention, ensuring better alignment with the input description for each frame. In our experiments, we compare our method against various existing consistent T2I generation approaches to demonstrate its effectiveness through quantitative metrics and qualitative assessments. Code is available at https://github.com/byliutao/1Prompt1Story.