Одно-запрос-одна-история: Генерация текста в изображение с постоянным бесплатным обедом с использованием одного запроса.

One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

January 23, 2025

Авторы: Tao Liu, Kai Wang, Senmao Li, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang, Ming-Ming Cheng

cs.AI

Аннотация

Модели генерации изображений по тексту могут создавать изображения высокого качества по входным подсказкам. Однако они испытывают трудности с обеспечением последовательной генерации требований к сохранению идентичности для повествования. Существующие подходы к этой проблеме обычно требуют обширного обучения на больших наборах данных или дополнительных модификаций исходных архитектур моделей. Это ограничивает их применимость в различных областях и разнообразных конфигурациях моделей диффузии. В данной статье мы в первую очередь наблюдаем врожденную способность языковых моделей, названную контекстной согласованностью, понимать идентичность через контекст с помощью одной подсказки. Вдохновляясь врожденной контекстной согласованностью, мы предлагаем новый метод обучения без тренировки для последовательной генерации текста в изображение (T2I), названный "Один-Подсказка-Одна-История" (1Подсказка1История). Наш подход 1Подсказка1История объединяет все подсказки в один вход для моделей диффузии T2I, начально сохраняя идентичности персонажей. Затем мы улучшаем процесс генерации с помощью двух новых техник: Переоценка Сингулярных Значений и Сохранение Идентичности с Перекрестным Вниманием, обеспечивая лучшее соответствие с описанием ввода для каждого кадра. В наших экспериментах мы сравниваем наш метод с различными существующими подходами к последовательной генерации T2I для демонстрации его эффективности через количественные метрики и качественные оценки. Код доступен по ссылке https://github.com/byliutao/1Подсказка1История.

English

Text-to-image generation models can create high-quality images from input prompts. However, they struggle to support the consistent generation of identity-preserving requirements for storytelling. Existing approaches to this problem typically require extensive training in large datasets or additional modifications to the original model architectures. This limits their applicability across different domains and diverse diffusion model configurations. In this paper, we first observe the inherent capability of language models, coined context consistency, to comprehend identity through context with a single prompt. Drawing inspiration from the inherent context consistency, we propose a novel training-free method for consistent text-to-image (T2I) generation, termed "One-Prompt-One-Story" (1Prompt1Story). Our approach 1Prompt1Story concatenates all prompts into a single input for T2I diffusion models, initially preserving character identities. We then refine the generation process using two novel techniques: Singular-Value Reweighting and Identity-Preserving Cross-Attention, ensuring better alignment with the input description for each frame. In our experiments, we compare our method against various existing consistent T2I generation approaches to demonstrate its effectiveness through quantitative metrics and qualitative assessments. Code is available at https://github.com/byliutao/1Prompt1Story.