Аудит и исправление: Агентная структура для согласованной визуализации историй в диффузионных моделях преобразования текста в изображения

Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models

June 23, 2025

Авторы: Kiymet Akdemir, Tahira Kazimi, Pinar Yanardag

cs.AI

Аннотация

Визуализация историй стала популярной задачей, в которой создаются визуальные сцены для отображения повествования через несколько панелей. Основная сложность в этом контексте заключается в поддержании визуальной согласованности, особенно в том, как персонажи и объекты сохраняются и развиваются на протяжении истории. Несмотря на недавние достижения в области диффузионных моделей, современные подходы часто не сохраняют ключевые атрибуты персонажей, что приводит к несогласованным повествованиям. В данной работе мы предлагаем совместную мультиагентную структуру, которая автономно выявляет, исправляет и уточняет несогласованности в много панельных визуализациях историй. Агенты работают в итеративном цикле, позволяя выполнять детализированные обновления на уровне панелей без необходимости повторной генерации всей последовательности. Наша структура является модельно-независимой и гибко интегрируется с различными диффузионными моделями, включая трансформеры с исправленным потоком, такие как Flux, и латентные диффузионные модели, такие как Stable Diffusion. Количественные и качественные эксперименты показывают, что наш метод превосходит предыдущие подходы с точки зрения согласованности много панельных визуализаций.

English

Story visualization has become a popular task where visual scenes are generated to depict a narrative across multiple panels. A central challenge in this setting is maintaining visual consistency, particularly in how characters and objects persist and evolve throughout the story. Despite recent advances in diffusion models, current approaches often fail to preserve key character attributes, leading to incoherent narratives. In this work, we propose a collaborative multi-agent framework that autonomously identifies, corrects, and refines inconsistencies across multi-panel story visualizations. The agents operate in an iterative loop, enabling fine-grained, panel-level updates without re-generating entire sequences. Our framework is model-agnostic and flexibly integrates with a variety of diffusion models, including rectified flow transformers such as Flux and latent diffusion models such as Stable Diffusion. Quantitative and qualitative experiments show that our method outperforms prior approaches in terms of multi-panel consistency.