Historia de un solo disparador: Generación de texto a imagen coherente de almuerzo gratis utilizando un solo disparador

One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

January 23, 2025

Autores: Tao Liu, Kai Wang, Senmao Li, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng

cs.AI

Resumen

Los modelos de generación de texto a imagen pueden crear imágenes de alta calidad a partir de indicaciones de entrada. Sin embargo, tienen dificultades para mantener la generación consistente de requisitos que preserven la identidad en narrativas. Los enfoques existentes para este problema suelen requerir un extenso entrenamiento en grandes conjuntos de datos o modificaciones adicionales a las arquitecturas originales de los modelos. Esto limita su aplicabilidad en diferentes dominios y configuraciones de modelos de difusión diversos. En este documento, primero observamos la capacidad inherente de los modelos de lenguaje, denominada consistencia de contexto, para comprender la identidad a través del contexto con una sola indicación. Inspirados en la consistencia de contexto inherente, proponemos un método novedoso sin entrenamiento para la generación consistente de texto a imagen (T2I), denominado "Una-Indicación-Una-Historia" (1Indicación1Historia). Nuestro enfoque 1Indicación1Historia concatena todas las indicaciones en una sola entrada para los modelos de difusión T2I, preservando inicialmente las identidades de los personajes. Luego refinamos el proceso de generación utilizando dos técnicas novedosas: Reajuste de Valor Singular y Atención Cruzada que Preserva la Identidad, asegurando una mejor alineación con la descripción de entrada para cada fotograma. En nuestros experimentos, comparamos nuestro método con varios enfoques existentes de generación T2I consistentes para demostrar su efectividad a través de métricas cuantitativas y evaluaciones cualitativas. El código está disponible en https://github.com/byliutao/1Prompt1Story.

English

Text-to-image generation models can create high-quality images from input prompts. However, they struggle to support the consistent generation of identity-preserving requirements for storytelling. Existing approaches to this problem typically require extensive training in large datasets or additional modifications to the original model architectures. This limits their applicability across different domains and diverse diffusion model configurations. In this paper, we first observe the inherent capability of language models, coined context consistency, to comprehend identity through context with a single prompt. Drawing inspiration from the inherent context consistency, we propose a novel training-free method for consistent text-to-image (T2I) generation, termed "One-Prompt-One-Story" (1Prompt1Story). Our approach 1Prompt1Story concatenates all prompts into a single input for T2I diffusion models, initially preserving character identities. We then refine the generation process using two novel techniques: Singular-Value Reweighting and Identity-Preserving Cross-Attention, ensuring better alignment with the input description for each frame. In our experiments, we compare our method against various existing consistent T2I generation approaches to demonstrate its effectiveness through quantitative metrics and qualitative assessments. Code is available at https://github.com/byliutao/1Prompt1Story.