Audit & Repair: Ein agentenbasiertes Framework für konsistente Story-Visualisierung in Text-zu-Bild-Diffusionsmodellen

Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models

June 23, 2025

Autoren: Kiymet Akdemir, Tahira Kazimi, Pinar Yanardag

cs.AI

Zusammenfassung

Die Visualisierung von Geschichten hat sich zu einer beliebten Aufgabe entwickelt, bei der visuelle Szenen erzeugt werden, um eine Erzählung über mehrere Panels hinweg darzustellen. Eine zentrale Herausforderung in diesem Kontext besteht darin, die visuelle Konsistenz zu bewahren, insbesondere in Bezug darauf, wie Charaktere und Objekte im Verlauf der Geschichte bestehen bleiben und sich entwickeln. Trotz jüngster Fortschritte bei Diffusionsmodellen scheitern aktuelle Ansätze oft daran, Schlüsselattribute von Charakteren beizubehalten, was zu inkohärenten Erzählungen führt. In dieser Arbeit schlagen wir ein kollaboratives Multi-Agenten-Framework vor, das Inkonsistenzen in der Visualisierung von Geschichten über mehrere Panels hinweg autonom identifiziert, korrigiert und verfeinert. Die Agenten arbeiten in einem iterativen Kreislauf, der fein abgestimmte, panel-spezifische Aktualisierungen ermöglicht, ohne gesamte Sequenzen neu generieren zu müssen. Unser Framework ist modellunabhängig und lässt sich flexibel in eine Vielzahl von Diffusionsmodellen integrieren, einschließlich rektifizierter Flow-Transformer wie Flux und latenter Diffusionsmodelle wie Stable Diffusion. Quantitative und qualitative Experimente zeigen, dass unsere Methode bisherige Ansätze in Bezug auf die Konsistenz über mehrere Panels hinweg übertrifft.

English

Story visualization has become a popular task where visual scenes are generated to depict a narrative across multiple panels. A central challenge in this setting is maintaining visual consistency, particularly in how characters and objects persist and evolve throughout the story. Despite recent advances in diffusion models, current approaches often fail to preserve key character attributes, leading to incoherent narratives. In this work, we propose a collaborative multi-agent framework that autonomously identifies, corrects, and refines inconsistencies across multi-panel story visualizations. The agents operate in an iterative loop, enabling fine-grained, panel-level updates without re-generating entire sequences. Our framework is model-agnostic and flexibly integrates with a variety of diffusion models, including rectified flow transformers such as Flux and latent diffusion models such as Stable Diffusion. Quantitative and qualitative experiments show that our method outperforms prior approaches in terms of multi-panel consistency.