One-Prompt-One-Story: Generazione testo-immagine coerente con pranzo gratuito utilizzando un singolo prompt

One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

January 23, 2025

Autori: Tao Liu, Kai Wang, Senmao Li, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng

cs.AI

Abstract

I modelli di generazione testo-immagine possono creare immagini di alta qualità da prompt di input. Tuttavia, faticano a supportare la generazione coerente dei requisiti di conservazione dell'identità per la narrazione. Gli approcci esistenti a questo problema richiedono tipicamente un addestramento estensivo su grandi set di dati o modifiche aggiuntive alle architetture dei modelli originali. Ciò limita la loro applicabilità attraverso diversi domini e diverse configurazioni di modelli di diffusione. In questo articolo, osserviamo innanzitutto la capacità intrinseca dei modelli linguistici, denominata coerenza di contesto, nel comprendere l'identità attraverso il contesto con un singolo prompt. Trarre ispirazione dalla coerenza intrinseca del contesto, proponiamo un nuovo metodo di generazione testo-immagine (T2I) coerente senza addestramento, denominato "One-Prompt-One-Story" (1Prompt1Story). Il nostro approccio 1Prompt1Story concatena tutti i prompt in un unico input per i modelli di diffusione T2I, preservando inizialmente le identità dei personaggi. Successivamente, perfezioniamo il processo di generazione utilizzando due nuove tecniche: Ripesatura dei Valori Singolari e Cross-Attention Preservativa dell'Identità, garantendo una migliore allineamento con la descrizione di input per ciascun frame. Nei nostri esperimenti, confrontiamo il nostro metodo con vari approcci esistenti di generazione T2I coerente per dimostrarne l'efficacia attraverso metriche quantitative e valutazioni qualitative. Il codice è disponibile su https://github.com/byliutao/1Prompt1Story.

English

Text-to-image generation models can create high-quality images from input prompts. However, they struggle to support the consistent generation of identity-preserving requirements for storytelling. Existing approaches to this problem typically require extensive training in large datasets or additional modifications to the original model architectures. This limits their applicability across different domains and diverse diffusion model configurations. In this paper, we first observe the inherent capability of language models, coined context consistency, to comprehend identity through context with a single prompt. Drawing inspiration from the inherent context consistency, we propose a novel training-free method for consistent text-to-image (T2I) generation, termed "One-Prompt-One-Story" (1Prompt1Story). Our approach 1Prompt1Story concatenates all prompts into a single input for T2I diffusion models, initially preserving character identities. We then refine the generation process using two novel techniques: Singular-Value Reweighting and Identity-Preserving Cross-Attention, ensuring better alignment with the input description for each frame. In our experiments, we compare our method against various existing consistent T2I generation approaches to demonstrate its effectiveness through quantitative metrics and qualitative assessments. Code is available at https://github.com/byliutao/1Prompt1Story.