ChatPaper.aiChatPaper

Audit & Repair: Een Agentisch Framework voor Consistente Storyvisualisatie in Text-to-Image Diffusiemodellen

Audit & Repair: An Agentic Framework for Consistent Story Visualization in Text-to-Image Diffusion Models

June 23, 2025
Auteurs: Kiymet Akdemir, Tahira Kazimi, Pinar Yanardag
cs.AI

Samenvatting

Storyvisualisatie is een populaire taak geworden waarbij visuele scènes worden gegenereerd om een verhaal over meerdere panelen weer te geven. Een centrale uitdaging in deze context is het behouden van visuele consistentie, met name in hoe personages en objecten door het verhaal heen blijven bestaan en evolueren. Ondanks recente vooruitgang in diffusiemodellen slagen huidige benaderingen er vaak niet in om belangrijke karaktereigenschappen te behouden, wat leidt tot onsamenhangende verhalen. In dit werk stellen we een collaboratief multi-agent framework voor dat autonoom inconsistenties identificeert, corrigeert en verfijnt in multi-panel storyvisualisaties. De agents werken in een iteratieve lus, waardoor fijnmazige, paneelniveau-updates mogelijk zijn zonder hele sequenties opnieuw te genereren. Ons framework is model-agnostisch en integreert flexibel met verschillende diffusiemodellen, waaronder rectified flow transformers zoals Flux en latent diffusion models zoals Stable Diffusion. Kwantitatieve en kwalitatieve experimenten tonen aan dat onze methode eerdere benaderingen overtreft op het gebied van multi-panel consistentie.
English
Story visualization has become a popular task where visual scenes are generated to depict a narrative across multiple panels. A central challenge in this setting is maintaining visual consistency, particularly in how characters and objects persist and evolve throughout the story. Despite recent advances in diffusion models, current approaches often fail to preserve key character attributes, leading to incoherent narratives. In this work, we propose a collaborative multi-agent framework that autonomously identifies, corrects, and refines inconsistencies across multi-panel story visualizations. The agents operate in an iterative loop, enabling fine-grained, panel-level updates without re-generating entire sequences. Our framework is model-agnostic and flexibly integrates with a variety of diffusion models, including rectified flow transformers such as Flux and latent diffusion models such as Stable Diffusion. Quantitative and qualitative experiments show that our method outperforms prior approaches in terms of multi-panel consistency.
PDF31June 24, 2025